随着IT部门为服务器添加输入/输出密集型和通信密集型的应用程序,数据中心网络面临的压力显著加大。
围绕1 GbE安装的系统不再高效;在许多情况下,替换技术:10 GbE同样是个网络瓶颈。
幸好有不止一种方法可以疏通拥堵的网络流量,从成本低、见效快的对策,到战略性资本投入和重组,不一而足。新技术势必会提升网络容量,而采用网络架构已借助多通道以太网,克服了主干网的性能瓶颈。在一些情况下,运营方面的简单组织也能缓解拥堵情况。
将存储与服务器放在一起
改变数据流是一种成本低、见效快的方法,可以克服网络瓶颈。一个例子就是让数据从联网存储流向服务器。
谷歌公司将联网存储节点和多台服务器放在同一处,然后安排应用程序使用来自附近存储节点的数据。这种方法让你可以为机架内交换机添加成本低廉的端口,或者甚至可以有两只交换机,从而允许节点上有双以太网端口。这还很容易在存储节点上有四个或更多个端口,因而消除了网络瓶颈,允许数据迅速进出。机架内几乎所有数据流都通过架顶式交换机系统来传输(时延低),因而大大减少了主干网流量。
数据库
数据库不一样。如今***效的系统使用一大批动态随机存取存储器(DRAM)双列直插式内存模块,建立内存中数据库。理想情况下,IT部门购买一批定制的新服务器――其中一些服务器的DRAM存储量高达6TB,不过旧服务器也可以用。
内存中架构的补充机制就是将高速固态硬盘(SSD)存储系统添加到服务器中。这可以用作DRAM的暂存缓冲区,也可以用作联网存储资源。这两种方法都减轻了网络负载,但10 GbE网络可能速度太慢,跟不上买来不到一年的系统,即便每台服务器两个端口也是如此。
虚拟化
虚拟化在x86服务器集群中很普遍,它带来了自己的网络瓶颈问题。众所周知,趋于饱和的网络经常出现启动风暴(Boot storm);即使在稳定状态运行中,创建实例也会增添负担,因为数GB的数据会从联网存储系统转移到服务器。
在这种情形下,就需要将传统虚拟化技术换成容器模式。这意味着,放弃针对任何操作系统可灵活创建实例的优点,但这通常不是个问题。
容器方案可减少网络流量,需要服务器中的每个实例使用容器支持的同一个操作系统。单一操作系统和应用程序架构节省了DRAM空间,因而得以让实例数量翻番,启动速度很快。不过,如果实例中的应用程序是网络密集型或输入/输出密集型,同样的压力还会是出现。
未来的技术对策
使用40 GbE(四通道)链路的交换机间连接很常见,我们期望100 GbE代替10 GbE。这股潮流因企业纷纷部署支持四通道的25 GbE链路以及部署成本相对低廉的100 GbE链路(用于存储设备和交换机间连接)而水涨船高。
有了25 GbE,数据中心可以使用机架内的现有线缆和交换机间的现有线缆。遗憾的是,你无法改造适配器,而是使用PCIe卡或新的节点。即使如此,尽快更换架顶式交换机以建立10/100 GbE环境,将大大提升整体的集群性能。
这项新技术正在迅速进入市场,体现了云服务提供商们的需要。交付25 GbE链路的项目一般问世不到12个月,需要通过IEEE的认证方可上市。用于生产环境的网卡和交换机定于2015年下半年面市。
另外还有50 GbE双通道这种方案可供选择。更快的速度有望符合运行内存中大数据分析任务的更庞大服务器,每台服务器可能至少有两条链路。由于当下的趋势是,这些服务器和高性能计算系统拥有核心数量众多的CPU或GPU,预计数据匮乏(data starvation)是个问题,将大量数据装入到数TB内存所用的时间也是个问题。
基于软件的解决方案也可以克服瓶颈。软件定义网络可以将主干网线路上的工作负载分摊到诸多服务器上。
由于存储和架构性能迅速提高,网络会在未来十年成为创新前沿,所以发展步伐应该很迅速。
原文标题:Dissolve a network bottleneck with these techniques