根据国外媒体报道,Yahoo公布了Hadoop的源代码,Hadoop是一个开源的Java并行编程框架,它是Map/Reduce的开源版本,而Map/Reduce则是Google用在计算机簇上对大规模数据进行分布式计算的架构。
该源代码可以再Yahoo的网站上下载(http://developer.yahoo.com/hadoop/distribution/),是0.20 alpha版,其中包括一个可以让多个用户通过不同的队列共享一个簇的规划器。源代码中还包含了一段Yahoo添加的用于提高稳定性和执行性能的代码段。这些代码段已经加入到了Apache中,不过在现有的Hadoop源代码的Apache发行版中还没有这些代码。Yahoo目前在其产品中提供的是Hadoop 0.18.3版。
Hadoop源代码是由Doug Cutting开发,它实现了Map/Reduce的技术,该技术可以将应用程序分解为多个工作片段,每一个片段都可以在簇中的任何一个节点中运行。它还支持HDFS分布式文件系统,该文件系统将数据存储在簇的节点中,以此来提高带宽利用。
【编辑推荐】