为了支持高性能计算(HPC),有一家研究机构采用Brocade解决方案,建立了一个全新的100 GbE骨干网。
Spartaco Cicerchia是位于马里兰州医学研究所(HHMI)的企业系统主管,据他介绍,HHMI研究人员生成大量的数据图像,他们迫切需要在园区访问层实现10 GbE连接。
他说:“我们需要在数据采集到存储、存储到高性能计算环境或到可视化、渲染和估算之间传输大量的数据。现在,所有人都会生成大量的数据,将这些数据从采集点传输到存储再传输到其他位置是一定难度,因为网络已经成为传输的瓶颈。”
Cicerchia担心的是,随着HHMI研究人员生成的数据不断地增加,他原有的基于Force10基础架构的10 GbE网络可能变成瓶颈。去年冬天,在HHMI第5次更新网络时,Cicerchia决定将网络升级到更快速的光纤网络。
“我们想要设计一种实现超高吞吐量和超低延迟的网络。我们在核心网络就开始捆绑部署多条10千兆链路,其他位置为20至40千兆。所以我们甚至决定不考虑40千兆以太网技术,而直接采用100 GbE。”
用一对100 GbE链路连接核心网络与布线柜
在HHMI数据中心的核心网络中,Cicerchia同时安装了两台Brocade MLXe-32机架,以及Brocade的多机架线槽(MCT)。MCT是一种网络虚拟化技术,它允许客户将两台交换机作为一个虚拟设备运行。每一个机架都有32个以太网刀片机插槽。HHMI将MLXe-32交换机的一半插槽连接100 GbE端口,机架上总共有32个100 GbE端口。其余插槽则留给千兆和10 GbE端口使用。
Cicerchia在所有布线柜安装了16个MLXe-16机架,这两台MLXe-32机架则负责收集来自这些MLXe-16机架的流量。每一台MLXe-16都具有一对100 GbE上行链路,分别连接一个HHMI核心交换机。Cicerchia说,这些100 GbE上行链路都是激活的,因为Brocade的MCT可以让他在网络中抛弃生成树协议。
为了保证100 GbE网络的性能,Cicerchia还部署了一个独立的园区网络,专门支持语音IP (VoIP)和视频会议,作为无线LAN的有线骨干网。这个附属网络的流量也会汇集到HHMI的MLXe-32核心交换机,包括带有笔记本以太网电源(PoE)和无线接入端的多个可堆叠Brocade FCX交换机。每一个FCX交换机层都通过一对10 GbE链路连接上行链路的核心网络。
除了聚集这两个园区网络,MLXe-32机架还作为HHMI的数据中心核心网络,服务聚集服务器和HPC流量。“在数据中心,我们使用了Arista网络公司的***机架交换机。此外,我们还在一些低优先级的机房部署了一些Brocade FCX交换机,并且我们还有一些遗留的Force10***机架交换机,但是我们正准备更换它们。”
提前部署100 GbE网络的结果:不需要生成树协议
“9月份,我们完全转换到新的网络,这使HHMI将由原来的4台Force10机架组成的核心网络压缩为2台MLXe-32交换机。Cicerchia指出,这种架构整合既保证了低延迟时间,也提高了端口密度。同时,我们将使用生成树的机架设计更改为使用MCT实现的全双主动设计。这样做的结果是,因为4台交换机变成2台,我们不仅将延迟时间降低50%;而且还将效率提高了100%,因为我们抛弃了生成树的被动模式链路。转到MCT使我们能够完全利用整个架构的优势。”Cicerchia说。
在Cicerchia测试网络时,从机架生成树设计转变为使用Brocade MLXe-32核心网络的MCT出现了一些问题。他说:“由于我们的通道和资源问题,我们能够同时将所有流量绕开生成树,所以除了运行MCT,MLXe-32还运行了802.1w快速生成树协议。”
不幸的是,核心交换机上有一些10 GbE接口被重置了,因此Cicerchia的相关人员无法确定问题的根源。他授权Brocade捕捉数据包,以确定问题发生的原因。 “我们能够确定软件缺陷发生在MT和802.1w之间,特别是在原有的Force10***机架上。我们知道Brocade无法快速提供补丁程序,所以我们将生成树配置从802.1w修改为802.1s,从而解决了这个问题。这时,Brocade才发布补丁,但是为了保持网络的稳定,我们并没有部署这个补丁。我们计划在圣诞节再做这件事。”
【编辑推荐】