微软最新Windows Azure数据中心扁平网络存储(Flat Network Storage)架构，展示Hadoop众所周知的“将计算转移到数据上”的特性，对大数据分析使用高可用性和可持续的blob存储集群成为现实。
微软全球副总裁Scott Guthrie三月份宣布了该公司HDInsight服务预览版的主要升级，即Hortonworks Hadoop Data Platform v1.1.0。此次更新的预览版中的DevOps特性，让开发者可以更轻松的用Windows Azure服务订阅创建高性能HDInsight计算集群，通过Windows Azure Management Portal实现(图一)。
SQL Server群组的新版本由以下这些开源Apache Hadoop组件以及可再分布的微软Java数据库连接(JDBC)驱动组成：
• Apache Hadoop, Version 1.0.3
• Apache Hive, Version 0.9.0
• Apache Pig, Version 0.9.3
• Apache Sqoop, Version 1.4.3
• Apache Oozie, Version 3.2.0
• Apache H.Catalog, Version 0.4.1
• Apache Templeton, Version 0.1.4
• SQL Server JDBC Driver, Version 3.0
图一.开发者或者DevOps专家用Windows Azure Management Portal对HDInsight数据服务集群规定计算结点。
一个集群包含一个每小时成本0.48美元的超大头结点，以及一个或者一个以上的大型计算结点，每小时成本0.24美元。因此，四个结点的小范围集群费用为每小时1.44美元，或者每月1000美元。(微软基于其每小时2.88美元的收费价格列表提出，但是对于实际的时间打五折;点击获取更多HDInsight价格信息。)Windows Azure上的Hadoop第一次预览提供了预构建、可再生的三个结点集群，寿命为24小时;随后的升级增加到五天的寿命，但是关闭了可再生功能。数据存储和出口带宽收费在最新的预览版中没有折扣，但是对亚马逊Web服务的简单对象存储服务(S3)具有竞争性。打折的Azure服务不提供服务水平协议。
将HDFS存储从本地文件系统转移到Windows Azure blob
Hadoop最基本的DevOps格言之一就是“将计算转移到数据上”，通常需要托管Hadoop分布式文件系统(HDFS)数据存储文件，并在运营系统的文件系统中计算操作。Windows Azure开发者习惯了Azure blob存储，这种存储通过三次复制所有的存储对象，提供了高可用性。加强了可持续性，灾难恢复通过地理复制激活，地理位置设置好后，在相同的区域中的Windows Azure数据中心中一式三份复制。比如，在西欧都柏林创建了Azure blob存储，就会自动复制到北欧的阿姆斯特丹。HDFS不提供内建可用性和可持续性特性。
HDFS在本地文件系统上运行，对比HDInsight 服务第一代网络架构的MapReduce任务和相同文件系统中的MapReduce计算可执行性，交付了比Azure blob上更好的性能。Windows Azure存储由于早期分离虚拟机(VM)的决定而进展缓慢，主要是改善多租户隔离的存储计算。
Windows Azure存储团队的Brad Calder在2012年11月的一篇博客中，对扁平网络存储和第二代存储硬件进行了描述，详见《Windows Azure的扁平网络存储和2012年可扩展性目标》。他对比了第一代和第二代存储硬件：
|
硬件代数 |
存储结点网络速度 |
计算和存储之间的网络 |
负载均衡器 |
日志存储设备 |
|
第一代 |
1 Gbps |
分层网络 |
硬件 |
硬盘 |
|
第二代 |
10 Gbps |
扁平网络 |
软件 |
SSD |
根据Calder的博客内容，第二代Quantum 10或者Q10，存储提供了充分的非阻塞，10Gbps成熟的网状网络提供了聚合基架，为每一个Windows Azure数据中心提供超过50Tbps的带宽。他宣称实景实现了存储账户可扩展性目标，下面就是截止到2012年底实现的目标：
• 容量多达200TB
• 事务比率达到20,000实体/消息/blobs/秒
• 地理冗余存储账户带宽
o 入口: 5 Gbps
o 出口: 10 Gbps
• 本地冗余存储账户带宽
o 入口: 10 Gbps
o 出口: 15 Gbps
存储账户有异地备援，默认提供地理冗余存储。终端用户可以关闭异地备援，使用本地冗余存储，从而减少地理冗余相关的存储成本，实现更高的入口和出口目标。
Denny Lee是SQL Server团队商务智能团队的成员，Brad Sarsfield是Windows Azure团队的主要开发者，共同探讨了Azure上HDInsight的blob存储性能。下面是要点总结：http://dennyglee.com/2013/03/18/why-use-blob-storage-with-hdinsight-on-azure/
• Azure blob存储在map任务中提供了与HDFS几近一致的读（性能和任务拆分）访问特性。
• Azure blob提供更快的Hadoop HDFS写访问，在往磁盘写数据时，任务完成的更快，减少任务。
Lee也总结了Nasuni的《2013云存储产业现状报告》， 对比了Azure blob存储和亚马逊简单对象存储服务(S3)的性能：
• 速度: Azure比位列第二的亚马逊S3的写速度快56%，读取文件的速度比排在第二的惠普云对象存储的读速度快39%。
• 有效性: Azure的平均响应时间比亚马逊S3快25%。
• 可扩展性:亚马逊S3各项平均扩展范围测试为0.6%，微软Windows Azure 范围1.9%，二者的可扩展范围可接受度都非常高。惠普和Rackspace,都是基于OpenStack 的云，显示的值为23.5%和26.1%。随着对象总数的增加，性能越来越不可预知。
我的博文《在Windows Azure CTP上使用来自Windows Azure Blob和Apache Hadoop的数据》，揭示了如何输入*.csv文件到HDInsight所调用的Azure存储库(ASV)。
HDInsight服务控制面板和样例库
图二.HDInsight控制台的活动瓷砖用户界面提供了对于该服务的DevOps 特性的访问。Monitor Cluster和 Documentation瓷砖是新添加的。
Windows Azure HDInsight服务的控制面板简化了Hadoop DevOps，提供了可以轻松访问的交互控制台，包括执行JavaScript代码、Hive查询、卡其远程桌面连接到计算VM、显示MapReduce 工作记录以及访问示例分析任务和文档。(图二)
交互控制台的Hive窗口允许开发者基于Azure Blob数据(图三)定义结构化Hive表格。数据专家用类SQL语言——HiveQL查询Hive表。开放数据库连接(ODBC)Hive驱动可以让商务智能分析师用微软Excel可视化HiveQL结果。更多细节，参考《Excel中设置ODBC数据源》和《Excel中执行HiveQL查询》。
图三.交互控制台的Hive窗口允许开发者基于Azure Blob数据定义结构化Hive表格。
最新的Azure HDInsight服务预览版在微软数据中心，充分利用扁平网络的第二代硬件。ASV用户得到了HDFS集群的Windows Azure blob存储有效性和可持续性，而且性能不受到影响。开发者必须要警惕的是，删除不需要的集群，避免大量未使用的计算账单出现。
关于作者
Roger Jennings是一位面向.NET开发者兼作者， Windows Azure MVP， OakLeaf Systems的首席咨询师，也是OakLeaf Systems博客的管理者。他同时还是30多本书的作者，范围涉及Windows Azure平台、微软操作系统（Windows NT和2000 Server） 、数据库(SQL Azure、SQL Server和Access)、.NET 数据访问、Web服务和InfoPath 2003。他的图书英文版本印刷数量超过125万，还被翻译成20多种语言出版。
