存储极客 | 瓜哥图解PCIE/NVMe

企业动态
这是一群存储偏执狂 为存储而生,跟存储死磕 各具独家秘笈 有观点,有碰撞,有干货 从2015年8月18起 做客存储极客栏目 与你分享存储里的那点事儿

 “存储极客”栏目再次与大家见面啦!在这里,只有一位大咖名叫“存储”,它的粉丝我们称为“存储极客”!

存储极客
这是一群存储偏执狂
为存储而生,跟存储死磕
各具独家秘笈
有观点,有碰撞,有干货
从2015年8月18起
做客存储极客栏目
与你分享存储里的那点事儿
上周瓜哥图解的那些知识,大家还记得吗?现在让我们小小的回顾一下:
 
在《瓜哥图解存储协议》中,瓜哥详尽的介绍了各类存储协议、接口及连接器等;
在《瓜哥图解RAS RAID》篇中,瓜哥图文并茂的讲解了存储系统控制器/HBA、RAID卡及其接入服务器的方式等。
 
今天,瓜哥又要图解什么呢?

NVMe固态盘、PCIE转接卡、PCIE交换芯片接入到服务器中的方式主要有以下三种:

1.全Combo形式。如下图,24个插槽均为SFF8639也就是U.2接口,这就意味着不管是插SATA/SAS还是NVMe SSD到任何一个槽位,混差,数量配比不限,系统都可以识别到对应的硬盘,也就是所谓三模式(Tri-mode)。所以,每个接口必须将对应的金手指触点真的连接到对应的控制芯片上,如下图,每个插槽均连接SAS信号到SAS HBA以及PCIE信号到PCIE Switch芯片。这样做的成本当然是非常高的。

2.只有固定槽位支持全Combo盘的形式。如下图,同样是这24个插槽,同样均为SFF8639也就是U.2接口,但是只有***的4个槽位同时支持三模式Tri-mode,其余的20个槽位只支持SAS/SATA盘。

3.只有固定槽位支持NVMe盘的形式。为了进一步节省成本,服务器厂商还可以让少数几个槽位只支持NVMe固态盘而不支持SAS/SATA,虽然依然是U.2接口,上面依然有对应的SAS/SATA的金手指信号,但是这些信号是被空置在那里的,没有连接任何上游的芯片。只有PCIE对应的针脚会被连接到上游芯片。而由于只有比如2个、4个NVMe Only的槽位,按照每个NVMe固态盘使用x4 Lane的PCIE接口的话,4个盘共需要16个Lane,可以将这16个Lane对应的金手指信号直接连接到CPU,也就是连接到主板上的一个x16的槽位上。所以,需要一块连接器转接卡先插到主板的x16 PCIE插槽上,转接板下游再出4个x4的miniSAS或者HD miniSAS连接器,然后用线缆连接到该连接器,线缆另一端再与硬盘背板上对应的miniSAS或者HDminiSAS连接器相连,这样就是下图所示的拓扑了。

该服务器是一台戴尔服务器上的***代 Express Flash PCIe SSD,以及PCIe 2.0的转接卡。散热片下面的是一块信号Repeter/Relay,其内部就是大量的三态缓冲门,为了增强信号质量,增强信号电流。

八、Dell R930服务器硬盘连接方式简析

Dell R930服务器是一台***支持4路CPU,提供***24盘位的高端服务器。在硬盘配置方面,其提供了3个不同的背板,4盘位SAS/SATA背板,24 SAS/SATA盘位背板,以及16 SAS/SATA盘位+8 NVMe固态盘位背板。下面我们就来说说***这种SAS和NVMe混布的选择。

下图就是配置了该背板的服务器前视图。可以看到竖插的12块SAS/SATA盘和左右两边最下方的各两块横插的SAS/SATA盘;以及左右两边上方的各4块NVMe固态盘。

对于NVMe盘位,其采用了NVMe Only的方式而不是Combo方式,也就是说这8个NVMe插槽只有PCIE信号被接入了系统中,SAS信号空置。如下图所示,可以看到每一边的4个U.2插槽上的x4 PCIE Lane信号被分别连接到一个HDminiSAS连接器,两边各4个。再采用对应的线缆连接到分别连接到一块PCIE连接器转接卡上,插入到主板的x16插槽中。

下图中可以看到这两块PCIE连接器转接卡的样子,其插在了服务器的***方。

Dell R930服务器在前部还提供了一个特殊的托架,这个托架中可以安置两块子板,每个子板上有一片SAS Expander。由于戴尔R930配备的SAS HBA/RAID卡***只能支持8盘直连,所以当配置的SAS硬盘数量大于8块时,必须增加SAS Expander。该Expander子板采用连接器的方式与背板相连,从而与硬盘信号对接,上游提供对应的HDminiSAS连接器,通过线缆连接到其PERC9 RAID卡上。该托架可放置两块Expander子板,这样就可以将所有SAS/SATA硬盘分两部分分别接入到其中一块Expander,提升SAS链路的并发度。同时,R930支持插两块PERC9 RAID卡,那就可以分别接一块Expander子卡,进一步提升存储系统性能了。

***,还有一种利用PCIE Switch将存储部分接入系统的方案,比如,在Dell PowerEdge FX2平台上,就使用了支持Partition功能的双PCIE Switch,具体可以参考冬瓜哥的另一篇文章:《PCIE交换芯片及在戴尔PowerEdge FX2平台上的应用》。

相关文章导读

↓↓↓

存储极客 | 瓜哥图解SAS RAID

存储极客 | 瓜哥图解存储协议

责任编辑:润月 来源: 51cto
相关推荐

2016-05-16 14:32:30

任意云戴尔微软

2016-05-16 15:23:54

任意云戴尔微软

2016-10-24 11:46:11

存储

2015-08-26 13:32:44

戴尔云计算

2017-07-24 16:53:06

戴尔超融合架构

2017-02-20 18:00:12

戴尔

2017-04-10 17:59:47

互联网

2015-12-08 11:08:00

戴尔云计算

2016-04-25 16:25:36

存储极客硬盘RAID

2015-09-09 18:07:48

戴尔云计算

2015-08-13 19:33:38

NVMe

2015-09-29 18:17:58

戴尔云计算

2015-12-28 15:46:08

戴尔云计算

2016-01-04 11:18:38

存储极客

2016-02-02 10:47:03

ZDNet

2015-11-23 17:29:26

存储华为ES3000 V3 N

2016-08-16 14:11:32

存储极客

2015-11-18 21:44:38

存储

2016-08-22 14:23:02

存储极客

2014-12-05 10:25:18

点赞
收藏

51CTO技术栈公众号