一小时部署Server SAN，还有超融合！

 

 

 

 

 

书接上周，且看龙哥说的“1小时部署Server SAN”怎么实现！

“Server SAN和超融合系统，在部署上有什么区别？”龙哥问道。

看我不知从何说起，龙哥：Server SAN是把用于替代传统SAN的软件定义存储（SDS）部署在多个物理节点上，超融合则是在虚拟化环境中进行类似的部署。

是说超融合系统多了个部署虚拟化环境的环节“一小时”能做完这些么？想想我给办公室搭一台文件共享的NAS，还花了一天的时间，这涉及到多个节点的Server SAN和超融合，虽说有可以并行的环节，真能在一小时内搞定？

传统企业级生产环境的部署始终是一个费时耗力的过程，按照传统方式部署一套企业级虚拟化平台，怎么着也得好几天，这还算小型环境。大型环境花的时间就不能以天来计算了……

龙哥见我不信，就问：“就这套系统，从上架、加电到现在准备就绪，用了多长时间？”

“大约半个小时吧？”

“实际上还可以更短时间。”龙哥坚定地说，“FX2采用模块化设计，所有组件齐备，上电就可以使用，甚至不需要外接交换机。实际上，你只要接通电源，然后花2分钟分配好FD332直连存储模块和PCIe插槽，就可以开始部署了。”

说干就干，龙哥通过iDRAC依次给三个FC630节点挂载上CentOS 7.2系统镜像，然后开始安装。因为只是一个小型环境，所以手动完成这些并不复杂。龙哥提醒说：“如果规模比较大，可以用Dell OpenManage或第三方工具来进行统一的安装、部署和管理，就是上百台服务器，也可以批量完成系统安装。”

20分钟CentOS系统安装完毕

龙哥又通过iDRAC将另外一个镜像挂载到FC630上面：“这是XSKY的X-EBS安装镜像。基于Ceph的商业化SDS产品，一键安装，很方便。”

 

X-EBS安装很快，10分钟

龙哥通过浏览器登录了X-EBS的管理后台，将另外两台FC630节点上的存储资源（各分配了FD332的一半硬盘）加入到同一个资源池。

 

添加存储节点和硬盘，上图可以看到，在node01上添加了8块磁盘和一块NVMe SSD。虽然两种转速（15k RPM和10k RPM）的磁盘性能有差异，但在SSD的性能面前，这点差异完全可以忽略不计。

当3台X-EBS Controller虚拟机与对应存储都添加进来之后，就开始设置存储资源池了：

将分布在3个节点上的NVMe SSD添加到一个资源池（High-pool）内，并将副本数设置为2（X-EBS提供了三种选择，分别为1、2、3副本）。

设置好资源池之后，再创建相应的卷（Volume），Server SAN就可以对外提供存储服务啦。

点击“创建块存储卷”，然后输入名称并分配容量大小

龙哥不紧不慢地说：“应用服务器（计算节点）可以通过两种方式访问Server SAN提供的存储服务：***种是在应用服务器上安装一个类似Agent的客户端，进行数据传输，XSKY的X-CBS就属于这一种；X-EBS属于第二种，可以通过标准的iSCSI接口跨网络访问。在需要存储服务的（计算）节点上安装iSCSI客户端，然后会生成一个iSCSI的iqn号码；在X-EBS后台管理界面中添加对应的客户端，将服务器节点的iqn号码填入，即可分配存储服务。第二种方法，接下来在VMware环境中的部署就会用到。”

 

[[199416]] 

“Server SAN的安装这就完成了？还没在计算节点上配置访问呢。”我看龙哥已经准备将刚搭建好的这套Server SAN系统铲掉了。

“通常我们说到Server SAN，默认是指一种计算和存储分离部署的架构，也就是提到FX2时经常说的‘融合架构’。既然是分离部署，部署Server SAN就是存储端的任务，不用涉及计算节点。”龙哥还是很淡定，“接下来不是要部署超融合么？肯定会让你看到计算节点上的部署——当然，在虚拟化环境中，是会更方便一点儿。”

“超融合是不是可以理解为，把Server SAN部署在虚拟化环境中，与应用跑在一起？”

龙哥笑道：“Server SAN是超融合的基石，可以说超融合代表了Server SAN的一种使用场景——本来超融合架构就是融合架构的一个子集。当Server SAN单独使用时，就是将存储控制器（软件功能）直接安装在物理服务器上。而在超融合系统中的Server SAN，则是将存储控制器部署在虚拟机或者hypervisor之中。虽然形态不同，但本质上没有明显差别。所以，你的理解基本正确。”

 

 

 

Server SAN与超融合的架构区别，主流超融合比Server SAN多了一个虚拟化层，其上VM不但有分布式存储控制器，还可以有其他应用VM。

听龙哥梳理Server SAN与超融合架构的血缘关系，我才理解他以前所说“企业用户对Server SAN的接受度很大程度上是拜超融合所赐”的含义。既然在3个节点上部署Server SAN真的用不了1个小时，部署超融合也只是多了安装hypervisor的时间而已吧？

龙哥呵呵一笑：“超融合能有多难？也就1个小时的事儿！”我当然举双手赞成。还用这套Dell PowerEdge FX2，龙哥开始将其部署为一套超融合系统。

 

[[199417]] 

安装VMware vSphere虚拟化平台的过程无需多言，龙哥依次在三个FC630节点上安装ESXi 6.2 hypervisor——这一步可以并行化，所以时间并不算长。然后用Windows Server 2012 R2操作系统构建两台虚拟机，分别用于Active Directory和vCenter Server。接着登陆vCenter将三台ESXi主机添加到同一个集群。

同时，还需要将ESXi主机上的NVMe SSD和FD332设置为直通模式，用于安装XSKY X-EBS。如下图所示：

 

 

将FD332的8块磁盘（即上图红框中的LSI FD332 PERC）和NVMe SSD（上图中的Unknown Non-Volatile Memory Controller）勾选设置为直通模式。

 

[[199418]] 

安装完虚拟化平台之后，就可以安装XSKY X-EBS分布式存储软件了。

首先，要在每台ESXi主机上都创建一台虚拟机，并安装CentOS 7.x操作系统，用于XSKY X-EBS的分布式控制器——X-EBS Controller。这种虚拟机，在超融合系统中通常被称为CVM（Controller  Virtual  Machine，控制虚机）。为了让CVM高效的处理存储I/O，需要将ESXi主机上的存储资源——NVMe SSD和FD332存储——直通（pass-through）给对应的X-EBS Controller，如下图所示：

将ESXi主机上的NVMe SSD和FD332存储直通给对应的X-EBS Controller，可以看到FD332被识别为Dual ROC（RAID on Chip），也就是Dual PERC，只是在SDS的场景下，我们不启用其RAID功能。

X-EBS本身的安装，与前面在物理环境下部署Server SAN的对应环节基本相同，此处不再重复。少数不同之处主要是虚拟化环境造成的，这里面有一些便利，譬如：龙哥在安装vCenter服务器之后，先创建一个CentOS虚拟机，配置好并克隆成模板。在安装X-EBS分布式控制器的时候，直接用这个模板虚机部署三个节点上的存储控制器，时间大幅节省。

X-EBS支持标准iSCSI协议，也就是说，其他主机（包括ESXi主机、虚拟机或者其他物理主机）无需安装Agent即可使用其提供的存储服务。比如，将这个名为LUN1的卷提供给ESXi主机使用。

首先，在需要添加存储的ESXi主机上添加iSCSI适配器，获得iqn号，如下图所示：

在ESXi主机上添加iSCSI适配器，获得一个iqn，如上图红框所示。

然后返回到X-EBS管理界面，创建一个iSCSI访问客户端，然后在提示输入iqn的空白框中输入ESXi主机的iqn。并将LUN1映射到这个iSCSI客户端上，如下图：

然后回到ESXi主机上，在配置界面选择存储器，然后添加存储器即可，如下图所示：

这套基于Dell PowerEdge FX2硬件、VMware vSphere虚拟化平台和XSKY X-EBS分布式存储的超融合系统就构建完成了。其中FX2提供了基础的计算和存储硬件（还有内部或外接交换机），vSphere整合了计算资源，X-EBS则整合了存储资源。整个超融合构建步骤看起来比较多，但过程并不复杂，而且主要集中在软件环节，就连FX2节点之间的存储硬件分配也只需动动鼠标即可，大幅简化了存储的安装和管理。

构建整套超融合系统只用了一个多小时，而且大部分时间都花在安装vSphere虚拟化平台上。如果这些虚拟化环境已经事先准备好，在其上部署X-EBS并构成一套简易的超融合系统，根本用不到1个小时。

工作做完了！

来杯咖啡，想想有什么新的idea？

 

 

 

　

　

　　有共享的就是方便