今天一早接到客户电话，说单位内部分用户不能访问网络，我登录检查之后发现存储的一个控制器损坏导致，主要原因概述如下。
当前客户核心业务运行在vSphere虚拟化平台，该单位有3台HP服务器+1台IBM 3524存储，服务器与存储之间采用SAS接口连接，其中2台HP服务器使用SAS线连接到A控制器，另1台HP服务器使用SAS线连接到B控制器，服务器与存储之间无冗余连接。3台HP服务器安装ESXi 6.0配置成HA，所有虚拟机都保存在IBM 3524存储中，当A控制器损坏之后，前2台HP服务器丢失到存储的连接导致部分虚拟机不能启动，因为HA中损坏了2台服务器，HA失效。知道原因之后，让客户将其中1台HP服务器的SAS线连接到B控制器的空闲端口(当前IBM 3524有两个控制器，每个控制器有2个SAS接口，所以B控制器当前有一个端口空闲)，将这台服务器重新启动，此时会有2台服务器可以正常工作，之后将业务虚拟机启动，此时单位应用暂时恢复。
在业务恢复之后，因为当前的存储已经过保，所以申请购买新的同型号的控制器，控制器到货之后更换损坏的A控制器，在更换的过程中又发现Slot 8的磁盘即将失效，在更换控制器后同时替换了即将失效的磁盘，下面介绍一下主要的过程与步骤。
(1)进入IBM DS Storage Manager管理软件，可以看到A控制器已经离线，同时有两块盘有黄色的五星符号，如图1-1所示。
图1-1 已经离线
【说明】当前示意图中Slot 3与Slot 8都有黄色的五星符号，其中Slot 3里面有一块磁盘，因为最初该盘位有点故障帮此盘位未分配到陈列中，故当前磁盘未分配未使用，但此磁盘是一块可用的磁盘，可以将其从盘位取出，放到其他需要的位置;而Slot 8分配为Array-2逻辑磁盘，该磁盘有数据丢失的风险。
(2)在"Recovery Guru"的进一步检查中，看到第8盘位的磁盘即将失效，有数据丢失的风险，如图1-2所示。
图1-2 slot 8磁盘
(3)将损坏的A控制器从存储中拆下，更换上新购置的控制器。
(4)在存储管理中，右击A控制器，在弹出的快捷菜单中选择"Advanced→ Place→ Online"将其置于在线状态，如图1-3所示。
图1-3 将控制器置于在线
(5)控制器处于在线状态，如图1-4所示。
图1-4 控制器在线
但控制器在线后，连接A控制器的服务器没有发现LUN，近一步检查发现A控制器的flash状态不对，如图1-5所示。
图1-5 A控制器的flash状态不对
估计控制器在快递过来的过程中，可能有颠簸或其他原因导致控制器中的SD卡(是一个8GB的高速缓存卡)松动，或者有问题。将新安装上的控制器设置为"离线状态"，打开控制器，将原来损坏的控制器的SD卡插到新购置的控制器中。
(6)右击A控制器，在弹出的快捷菜单中选择"Advanced→ Place→ Offline"将其置于离线状态，如图1-6所示。
图1-6 将控制器置于离线状态
(7)在弹出的"Confirm Place Offline"对话框中单击"yes"按钮确认，如图1-7所示。
图1-7 确认设置为离线
(8)当控制器A处于离线之后，拆下控制器，如图1-8所示。然后换上原来损坏控制器的SD卡，重新插上控制器。
图1-8 控制器处于离线状态
(9)再次将控制器设置为在线状态，此时看到SD卡状态正常，如图1-9所示。
图1-9 控制器正常
此时连接到A控制器的服务器应该能发现存储分配的LUN，如果不能发现LUN，则可以在"Storage & Copy Services"，右击LUN在弹出的快捷菜单中选择"Change→ Ownership/Preferred Path"选择"Controller in Slot A"，如图1-10所示。
图1-10 更换LUN到A控制器
对于盘位8即将失效的磁盘，可以将其置于"Fail"然后用热备磁盘代替，然后在盘位8换上新的磁盘即可，主要步骤如下。
(1)右击Slot 8的磁盘在弹出的快捷菜单中选择"Advanced→ Fail"，如图1-11所示。
图1-11 将磁盘设置为失败
(2)在弹出的"Confirm Fail Drive"对话框中输入yes然后单击"OK"按钮，如图1-12所示。
图1-12 确认设置
(3)右击Slot 6(这个盘位的磁盘是热备磁盘)，在弹出的快捷菜单中选择"Hot Spare Converage"，如图1-13所示。
图1-13 热备磁盘转换
(4)在弹出的"Hot Spare Drive Options"对话框中选择"Automatically assign drives"，然后单击"OK"按钮，如图1-16所示。
图1-16 自动分配驱动器
(5)在"Replace Drives"对话框中将显示将Slot 8的失效的磁盘替换到Slot 6，如图1-17所示。
图1-17 替换驱动器
(6)返回到"Storage & Copy services"对话框，浏览LUN可以看到涉及到逻辑磁盘会重建，如图1-18所示。当时的时间是10点02。
图1-18 磁盘重建
(7)此时可以将盘位8的磁盘拆下，换上新的同容量的磁盘。等图1-18重构完成之后，盘位8的磁盘会被替换回来，如图1-19所示。此时盘位8的磁盘有个黄色的五星标志，而盘位6的有个红色的十字标志。
图1-19 替换磁盘
(8)在"Storage & Copy services"对话框浏览涉及到的LUN，可以看到状态变为"Copyback Progress data unavailable"，当前时间是22：23分，复制过程进行了大约60%，如图1-20所示。因为在替换Slot 8的时间大约是上午10点，时间到现在大约过了12小时，以此计算，整个更换、替换磁盘所需要时间大约15小时。
图1-20 复制过程
(9)第二天早晨7点33分检查，复制进度已经完成，如图1-21所示。
图1-21 复制完成
(10)在"Hardware"选项卡中单击Slot 8，可以看到当前磁盘已经分配到Array-2，原来Slot 6仍然变为热备磁盘，如图1-22所示。至此整个维护完成。
图1-22 系统状态正常
【本文为51CTO专栏作者“王春海”的原创稿件，转载请注明出处】
