随着云计算和虚拟化技术的普及,数据中心基础设施领域出现了很多技术创新。Amazon负责数据中心的副总裁James Hamilton曾经说过,在最近5年内数据中心领域技术创新超过了过去15年的创新之和,而这些创新基本上都是被云计算和超大规模互联网应用所驱动。
Scale Up是传统IT界应对大数据、大容量、大流量的解决方案,也就是造更大、更快、更强的IT设备,从而形成了"高性能服务器+高性能SAN存储+高速以太网"这样的"三高"IT架构模型。为了维护自己在业界的市场地位,各个计算、存储和网络厂商不停的推出高规格的旗舰产品来证明自己的存在。但是在新互联网时代,我们看到传统的Scale Up方案越来越力不从心,这不仅因为高性能设备的研发和制造成本越来越高,更因为传统的通过高性能设备实现的Scale Up方案自身的技术极限,无法满足大数据互联网级的要求。为了应对这个挑战, Scale Out解决方案应时出现。所谓Scale Out,简单的讲就是利用分布式和并行计算的原理,把原先由高性能设备完成的任务分布到一群设备上去完成,在满足处理性能要求的同时保证相关的高可靠性,并降低相关成本。
Scale Out是天生属于计算领域的。我们知道最早的高端企业级计算领域是大型机/小型机的世界。计算机的硬件、操作系统和跑在其上的应用是纵向整合的,当时IBM控制了整个业界的创新步伐。但是在新互联网领域,面对terabyte级别甚至petabyte级别的数据集处理要求,Scale Out是唯一的选择。基于商用x86架构工业标准服务器集群和分布式软件来构建互联网架构,是目前互联网领域的技术热点,典型代表之一是Apache Hadoop开源软件项目。现在大型云计算互联网公司数据中心动辄上万台Hadoop服务器来实现其并行计算。例如百度的Hadoop服务器规模是1万多台,已经超过了Yahoo和Facebook,2012年计划将达到2万台。同时,面向企业级私有云的Hadoop实践也开始走向实践。
在IT基础设施领域,除了计算以外,存储领域也开始从Scale Up迈向Scale Out。一个主要的原因就是CPU的性能和密度持续超过旋转磁盘的读取性能。传统的SAN和NAS外置存储解决方案过去受欢迎的原因就是外部磁盘阵列可以通过多轴磁盘实现高速IO,以及可以实现方便的磁盘阵列扩充。只要应用不需要非常快的读写大量数据,这种把存储外置在服务器之外,也就是存储和计算分离的解决方案可以工作的很好。但是一旦面对大数据快速读写,传统SAN/NAS技术架构就会出现技术瓶颈。考虑到这种情况,最近有人甚至预言未来外置高性能存储将趋向灭亡,取而代之的是Scale Out解决方案。具体说就是返璞归真--把数据推向计算点,而不是计算点通过一个fabric从远端阵列获取数据。这种模型通过分布式文件系统(如Hadoop文件系统,HDFS)构建在x86服务器集群上,有效的利用本地存储的低成本和高速实现相对于外置集中存储的性能、扩展和成本优势。一旦这种模式得到普及,传统的SAN/NAS的外置式存储恐怕将像恐龙一样淡出历史舞台。
看完计算和存储,我们来看看IT基础设施的***一块拼图--网络,是否也要走向"Scale Out"?答案是Yes。虽然单个网络产品本身的性能和接口带宽是不断的向"UP"的方向发展的,例如在未来的数据中心,10GE接口将渐渐普及到接入层, 40GE/100GE接口也将在不远的将来进入实用。但是就整个网络架构来讲,在计算和存储向Scale Out架构发展的大前提下,网络的Scale Out是必然的发展趋势。这里面有三点含义:
·拓扑结构的Scale Out。新型的互联网将不再是传统企业网的三层或者多层组网,而是扁平化的二层组网架构。因为扁平的二层组网架构将***程度的减少节点和节点之间的跳数和时延,更加有利于Hadoop等分布式软件发挥效能。扁平化组网要求网络核心模块有极强的弹性扩展能力,可以在节点数目增加时实现网络接入模块的按需挂接。
·性能上的Scale Out。网络作为新一代数据中心的fabric,不能成为性能瓶颈。但是当单端口的带宽达到一定极限的时候,就必须实现大流量在整个数据中心范围内的多个接入端口/上联端口的横向Scale Out。从本质上说,H3C的IRF2技术,以及针对数据中心大二层网络需求的IETF TRILL标准,都是这种Scale Out解决方案。
·网络服务的Scale Out。所谓网络服务是指安全和流量分析等4-7层的网络增值业务。在传统的数据中心网络服务模块,如防火墙是作为一个单独的模块挂接在核心层或者汇聚层上的,总体来讲是一种集中式处理模式。随着数据中心规模和流量的上升,这种部署要求防火墙性能越来越高,以至于会成为一个严重的业务瓶颈点。因此在大数据互联网数据中心中网络服务部署必须走Scale Out模式。简单的讲,就是在大二层组网下,网络服务模块必须贴近节点(物理的或者虚拟的),并通过分布式网络软件把大量、分散的网络服务模块虚拟化起来,统一管理部署和动态调配,来满足业务处理需求。
总之,新的IT技术创新虽然目前都只是在互联网大数据环境下在应用,传统的技术也不会马上消亡,但是我们可以想见到Scale Out模式对未来泛企业IT模型的影响,也就是说IT架构的价值从硬件转向了软件。不论您是企业IT人员、系统集成商、还是IT设备制造商,恐怕今天都要问一句自己:
今天,你"OUT"了吗?