数据中心机房平面布局通常采用矩形结构,为了保证制冷效果,通常将 10 至 20 个机柜背靠背并排放置成一行,形成一对机柜组(又称为一个POD)。
POD中的机柜都采用前后通风模式,冷空气从机柜前面板的吸入并从后部排出,由此在机柜背靠背摆放的POD中间形成 “热通道”,相邻的两个POD之间形成“冷通道”。
热通道正对CRAC(机房空调),热空气沿热通道流回CRAC,再开始新一次循环。
每个POD由服务器机柜和网络机柜组成,其中服务器机柜占多数。由于服务器的形态差异(机架式服务器、刀片服务器),POD中服务器机柜和网络机柜的布线方式也存在差异。
机架式服务器的布线方式:交换机EOR(End of Row)布线方式
采用交换机EOR布线方式时,每个POD中的两排机柜的最边端摆放2个网络机柜,POD中所有的服务器机柜安装配线架,配线架上的铜缆延伸到POD最边端网络机柜,网络机柜中安装接入交换机。机架式服务器安装在服务器机柜中,服务器网卡通过跳线(铜缆)连接机柜中的配线架。
交换机EOR布线方式特点:交换机EOR布线方式最为常见。
通常在服务器和接入交换机安装以前,服务器机柜到网络机柜的布线施工已经完成,设备(服务器/交换机)安装和跳线工作都在服务器机柜内和网络机柜内进行。如果每台机架式服务器的功率为500W,且每个服务器机柜的电源输出功率按4KW或6KW计算,则一个42U高度的服务器机柜能安装8-12台机架式服务器。
EOR布线方式的缺点:从服务器机柜到网络机柜的铜缆多(约有20-40根铜缆),且距网络机柜越远的服务器机柜的铜缆,在机房中的布线距离越长,由此导致线缆管理维护工作量大、灵活性差。
交换机MOR(Middle of Row)布线是对EOR布线方式的改进。MOR方式的网络机柜部署在POD的两排机柜的中部,由此可以减少从服务器机柜到网络机柜的线缆距离,简化线缆管理维护工作。
机架式服务器的布线方式:交换机TOR(Top of Rack)布线方式(真正大型数据中心的部署方案)
交换机TOR布线方式是对EOR/MOR方式的扩展,采用TOR布线时,POD中每个服务器机柜的上端部署1-2台两台接入交换机,机架式服务器通过跳线接入到机柜内的交换机上,交换机上行端口通过铜缆或光线接入到EOR/MOR的网络机柜中的汇聚交换上。如图所示
TOR布线方式特点:
TOR布线方式简化了服务器机柜与网络机柜间的布线,从每个服务器机柜到EOR/MOR的网络机柜的光纤或铜缆数量较少(4-6根)。机柜中服务器的密度高。对于标准的19英寸宽,42U高的机柜,如果采用交换机TOR布线方式,则每个机柜可部署15-30台1U高度的机架式服务器(具体数量需要考虑单台服务器的功耗和机柜的电源输出功率)。
TOR布线的缺点:
每个服务器机柜受电源输出功率限制,可部署的服务器数量有限,由此导致机柜内交换机的接入端口利用率不足。
在几个服务器机柜间共用1-2台接入交换机,可解决交换机端口利用率不足的问题,但这种方式增加了线缆管理工作量。从网络设计考虑,TOR布线方式的每台接入交换机上的VLAN量不会很多,在网络规划的时候也要尽量避免使一个VLAN通过汇聚交换机跨多台接入交换机,因此采用TOR布线方式的网络拓扑中,每个VLAN的范围不会太大,包含的端口数量不会太多。
但对于EOR布线方式来说,接入交换机的端口密度高,在网路最初设计时,就可能存在包含较多端口数的VLAN。TOR方式的接入交换机数量多,EOR方式的接入交换机数量少,所以TOR方式的网络设备管理维护工作量大。
刀片服务器的布线方式
集成刀片交换机的刀片服务器在进行机柜安装时,不需要考虑机柜内从服务器到接入交换机/或配线架的跳线,只需考虑刀片交换机上行端口的配线方式即可。
而机架式服务器则需要分别对每台服务器进行跳线连接。例如,一个42U的服务器机柜安装10台1RU机架式服务器,1台接入交换机,并采用TOR布线方式时,在机柜后面将看到22根电源线(服务器和交换机都配置冗余电源)、10根KVM线、至少30根双绞线(每台服务器两个业务网卡和一个管理网卡),2根光纤(交换机上行端口),这还不包括连接外部存储和其他设备的线缆,显的非常凌乱。
而对于一台配置了10个服务器模块和2个交换机模块的刀片服务器来说,则只需2根电源线,1根KVM线,4根光纤。因此刀片服务器在机房布线管理上比机架式服务器具有明显的优势。
集成交换机模块的刀片服务器主要采用EOR/MOR布线方式,但这种EOR布线方式与机架式服务器TOR布线方式的特点基本相同,如图所示。
服务器在服务器机柜内完成网络接入,从服务器机柜到EOR/MOR网络机柜的电缆主要是刀片交换机上行汇聚交换机的光线,而且数量比较少。但刀片服务器的计算单元的密度比机架式服务器更高,所以对单个机柜的电源输出功率以及机房制冷环境的要求也更高。
采用pass-through模块的刀片服务器的机柜布线方式可分为EOR/MOR和TOR两种,如图所示,两种方式的特点与机架式服务器的相应方式相同,此处不再赘述。