2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会。
在4月27日Hadoop生态系统及分布式架构设计专场论坛中,来自英特尔(中国)的朱海峰先生发表了主题为“英特尔大数据技术与分布式架构设计详解”的演讲。演讲中,朱海峰先生介绍了英特尔怎么看大数据时代下数据的挑战,英特尔的合作案例等。
演讲展示中,朱海峰首先将传统的数据处理和大数据时代的数据处理做了详细的分析和对比。并且阐述了英特尔在大数据时代扮演的角色,英特尔的特色是面向大数据应用,在云计算、存储和网络方面提供更快更为高效的架构级别的优化方案;持续投入大数据应用开发,促进软件系统和服务的不断优化和创新;推进终端设备和传感器的智能化,构建互联、可管理的和安全的分布式架构。
然后朱海峰提出了软硬件结合的重要性与实效性。
紧接着介绍了Hadoop:
一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Intel Hadoop商业发行版
Intel Hadoop后台管理
Intel Hadoop性能优
其后依次介绍了如下内容;
HBase写入性能讨论,大对象的高效存储(IDH2.3),Interactive Hive over HBase,性能评测工具Intel HiBench,新的存储架构NVM,软件存储加速:Intel CAS,性能指数级提升,对象存储架构,基于Hadoop的新型数据中心方案
以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。