1 需求分析
XX银行目前虚拟化平台为3年前建设投产的，版本为vSphere 5.5，一直没有更新。随着XX银行业务的高速发展，原有平台已经满足不了目前的应用需求，而且有些版本老旧，给运维带来很多不便。基于上述原因，现决定构建全新的虚拟化平台，采用新的vSphere 6.0版本，并考虑到未来的业务扩展。
现阶段规划5个分区，分别为生产业务区、管理区、网银Web区、网银App区、运维基础区。每个业务区承载着不同数量的虚拟机，并且随着业务发展不断增加。随着新业务不断增长要求，未来将逐步把小型机服务器上应用系统迁移到虚拟化平台，最终实现数据中心x86服务器的全部虚拟化。
本方案将根据用户现有虚拟化平台的现状和物理服务器进行评估，给出新数据中心虚拟化平台的详细设计，作为以后项目实施测试和验收的依据。
2 总体架构
XX银行虚拟化平台总体架构由86台主机组成，分别为生产业务区、管理区、网银Web区、网银App区、运维基础区构成，面向正式生产业务，由一个放在运维/基础区的vCenter统一管理。
每个业务区域之间是网络隔离的，但vCenter管理网络是相通的。
2.1 ESXi主机配置
2.1.1 硬件配置规格
2.1.2 BIOS设置
2.1.3 ESXi主机软件版本
Name: VMware ESXi 6.0 Update 1
2.1.4 配置NTP时间源
ESXi使用是UTC(Universal Time/Temps Cordonn 世界标准时间)时区，而且ESXi已经不支持修改时区。如果没有NTP服务器，可以手动调整ESXi主机时间。
安装ESXi主机后，立刻调整时间(未调整时间之前不能建立和迁移新虚拟机)。强烈建议统一配置NTP时间源，所有主机须与时间源同步。
2.1.5 ESXi主机命名规范
bkxx-esxi55-e<编号>
FQDN示例：bkxx-esxi55-e01.bkxx.cn，全小写。ESXi主机与vCenter服务器名称解析，加入XX银行为此项目搭建的DNS服务器(DNS服务安装于vCenter服务器)。
3 群集和资源池设计
3.1 VMware HA群集设计原理
至少2台以上ESXi主机组建为一个HA群集。虚拟机文件放置在由光纤存储组成的共享存储上。 ESXi主机产生故障时，虚拟机自动在群集内其他可用的ESXi主机上重新启动。VMware HA为虚拟机中的运行提供快速计划外中断恢复和具有成本效益的高可用性。
VMware HA不需要在应用程序或虚拟机内安装任何特殊软件。HA群集中的所有虚拟机均受 VMware HA 保护。VMware HA要求虚拟机必须驻留在共享存储上。
VMware HA代理会在ESXi主机间相互通信，并监控群集内各台ESXi主机的活跃度。默认情况下，此通信通过每秒交换一次检测信号来完成。如果15 秒过去后仍未收到检测信号，而且 ping 不到该ESXi主机，则系统会声明该ESXi主机发生故障。
网络检测信号是确定主机状态的关键，数据存储检测信号使主机更加正确地判断管理网络不可达的状态。默认情况下，HA会选择2个数据存储心跳，这个选出的的数据存储在集群内所有的主机上有效。
如果连接服务器的物理网络交换机支持 PortFast(或等效)设置，请将其启用。此设置可防止ESX主机在执行冗长的跨树算法期间误认为网络已被隔离。
在虚拟化平台进入运行维护期后，如果需要执行可能会触发主机隔离响应的网络维护，建议首先禁用HA群集中的“主机监控”功能，以挂起 VMware HA。完成维护后，请重新启用“主机监控”。
虚拟机重新启动优先级用于设定在ESX主机发生故障后虚拟机的重新启动相对顺序。这些虚拟机在新主机上按顺序重新启动，首先启动优先级相对较高的虚拟机，然后是那些低优先级的虚拟机。建议为提供最重要服务的虚拟机分配较高的重新启动优先级。
3.2 集群和资源池的划分
群集为运行的虚拟机提供一个高可用性和冗余环境。虚拟机可以在以资源池为单位的范围内负载均衡，灵活调配。
根据数据中心网络和业务架构，每个业务区为一个独立集群，每个集群即为一个独立的资源池。生产区域共分为5个集群单元：管理区集群、业务区集群、网银Web区集群、网银App区集群和运维基础区集群，所有集群由运维基础区的vCenter统一管理调度。
3.3 群集接入控制策略设置
一类 指定故障切换主机
使用“指定故障切换主机”，在群集中空置一台ESXi主机备用，指定它做为故障切换ESXI主机。则在ESXI主机发生故障时，VMware HA 将尝试在备用ESXI主机上重新启动其虚拟机。备用ESXI主机CPU和内存配置不得低于群集内的其他ESXI主机。
第二类 群集允许的主机故障数目
使用“群集允许的主机故障数目” ，VMware HA 允许指定数目的ESXI主机发生故障，同时可以确保群集内留有足够的资源来对这些主机上的虚拟机进行故障切换。此类HA规则适用于虚拟机CPU和内存耗用(或保留值)较平均的场景。目前，XX银行项目中采用此种群集设置规则，设置群集允许的主机故障数目为1。
计算插槽大小
插槽大小由两个组件(CPU 和内存)组成。CPU 的方法是选择已启动虚拟机上的 CPU 预留最大值。无CPU 预留，则默认值 256 MHz(使用 das.vmCpuMinMHz 更改)。内存的方法是选择已启动虚拟机的内存预留，然后再选择最大值(使用 das.slotMemInMB 更改)。
确定每台主机可以支持的插槽数目上限
用主机的 CPU/内存资源数除以插槽大小，得出插槽数目上限，计算群集允许的主机故障数目。
示例，下图中主机故障数目为1
第三类 预留的群集资源的百分比
可以将vSphere HA 配置为通过预留特定百分比的群集CPU 和内存资源来执行接入控制，用于从主机故障中进行恢复。
使用“预留的群集资源的百分比”接入控制策略，vSphere HA 可确保预留CPU 和内存资源总量的指定百分比以用于故障切换。
XX银行选择第二种“群集允许的主机故障数目”接入控制策略，值为“1”，即“允许1台主机出现故障”。
注：如果vCenter不可用，它不会影响到群集的现有配置。故障切换时没有vCenter加入，HA只是依赖vCenter配置和监视群集。
3.4 VMware DRS功能
VMware DRS监控群集内所有主机和虚拟机的 CPU 和内存资源的分布情况和使用情况。在给出群集内资源池和虚拟机的属性、当前需求以及不平衡目标的情况下，DRS会将这些衡量指标与理想状态下的资源利用率进行比较。然后，DRS会相应地执行虚拟机迁移(或提供迁移建议)。群集中初次启动虚拟机时，DRS 将尝试通过在相应主机上放置该虚拟机或提出建议来保持适当的负载平衡。
DRS 的自动化级别：
手动 ： 初始放置位置：显示推荐的主机。
迁移：显示迁移建议。
半自动：初始放置位置：自动。
迁移：显示迁移建议。
全自动：初始放置位置：自动。
迁移：自动执行迁移建议。
在目前设置下，考虑到虚拟机与驻留主机的固定配置关系，暂不启用DRS功能或者选择“手动”DRS方式。启用DRS功能，只需在群集配置中勾选启用DRS，以及配置相应规则。在正确规划和操作的情况下，DRS的配置不影响虚拟机的正常运行。
4 管理中心vCenter设计
管理软件vCenter是整个虚拟化平台管理控制的核心，考虑其考虑重要性和可管理性，我们设计把域控制器，vCenter服务器和数据库服务器分离，逻辑架构图如下：
以上各组件说明：
vCenter服务器采用虚拟机部署方式，部署在该运维区。建议配置如下：
vCenter与其数据库分离，采用虚拟机形式安装。这样便于利用VMware的HA技术进行保护，而且安装后建议克隆vCenter服务器作为一个备份镜像。数据库每天使用Oracle备份工具备份vCenter数据，并在ESXi主机本地内置磁盘上保留vCenter数据库服务器的完整克隆。根据vCenter服务器所管理的ESXi主机与虚拟机的数量，估算vCenter数据库的容量如下：
按约50台ESXi主机和200台虚拟机进行预估，vCenter数据库容量估算工具，请参考《VC Database Sizing Calculator》。
创建数据库时，按照该容量的3倍进行数据库空间的预留，即50GB。
4.1 安装vMA
VMware vSphere Management Assistant (vMA) 是VMware对外提供的工具。vMA 将 vSphere 命令行界面、vSphere SDK for Perl 以及日志记录和身份验证模块打包到一个方便的捆绑包中。vMA还可以托管第三方代理，以增强管理功能。
建议安装vMA，并凭此工具对ESXi主机进行集中管理。同时，vMA还配置成syslog日志服务器，用于管理ESXi主机的日志。由于ESXi主机发生紫屏死机，重启后log就丢失，所以推荐配置syslog服务器，把日志转储。
从安全性考虑，不建议打开ESXi主机的SSH功能，如果需要命令行管理主机，可以使用vMA管理助手。
4.2 用户、组、权限和角色
定义用户、组、角色和权限能够控制哪些用户可以访问 vSphere 受管对象以及这些用户可以执行哪些具体操作。vCenter Server 授权用户是包括在 vCenter Server 引用的 Windows 域列表中的用户，或者是 vCenter Server系统上的本地 Windows 用户。
角色是一组预定义的特权。特权定义用户执行操作和读取属性所需的个人权限。当给用户或组分配权限时，将用户或组与角色配对，并关联与清单中某一受管对象，直接与vCenter服务器中的高层级的对象相关联。
根据项目建设和未来运营管理的实际需要，在建设初期，按照运维管理的模式与需求，创建相关用户、组和vCenter角色，并创建若干具有管理员权限的用户。进入运营管理阶段后，则删除原具有管理员权限的用户(保留Administrator),按照既定的用户、组和vCenter角色设置，对vSphere进行操作。
4.2.1 vCenter角色
4.2.2 vCenter服务器域用户组
根据角色设置，在域控服务器创建域用户组(如果使用新的用户组来管理)，具体设置如下：
4.2.3 vCenter角色与用户组关联
在vCenter服务器最上层级()，做vCenter角色与用户组的关联。
4.3 vSphere监控事件报警
借助事件监控和报警系统，在vSphere、vCenter中将被配置以便监控所有核心虚拟架构的健康和性能内容，包括ESXi主机、群集、HA、虚拟机操作如VMotion和vCenter自身的健康。
配置以下被监视事件。条件和阀值配置细节如下：
当以上告警触发后，配置vCenter发送SNMP traps到网络管理软件;同时也将由邮件发送到相关负责人和所有vSphere企业管理组中。
vSphere企业管理组将定期负责审查和管理这些有vCentre、ESXi主机、虚拟机产生的健康和系统日志。这些日志将为企业的保留策略和程序做准备和归档。
SNMP 接受端得配置如下表所示：
vCenter告警邮件转发的SMTP配置如下表所示：
5 虚拟化网络设计
XX银行虚拟化网络设计考虑了以下基本原则：
1)物理交换机和网卡均冗余配置;
2)充分利用分布式交换机的优点，物理网卡上均设置为Active-Active模式，有效提高带宽，负载均衡策略和故障切换策略;
3)物理交换机连接到ESXi主机的端口设置为Trunk访问模式，允许VLAN访问。
主机物理网卡布局示意图如下：
每台ESXi主机共配有2片(每片有4个网口)千兆网卡，ESXi主机自带2个千兆网口，共有10个网口可用。在标准虚拟交换机中，为管理网络、VMotion端口、iSCSI存储和FT端口提供网络服务。正式部署前，管理网络和VMotion端口、iSCSI存储和FT端口都需要分配好固定IP地址。两片网卡交叉备份，一旦前一片网卡或网络链路出现故障，则自动切换到第二片网卡上运行。
虚拟机业务网络采用分布式交换机方式，使用主机自带两个网络端口。在虚拟端口组中，这两片网卡都处于活动状态，虚拟机的业务流量按照实际物理流量规则进行负载均衡，在这两片网卡上进行转发。连接这两块网卡的物理交换机端口设置为TRUNK访问模式，允许虚拟机业务VLAN通过。
对于生产业务区、管理区、网银Web区、网银App区的虚拟化网络规划如下图：
管理区、生产区和网银区ESXi主机网络规划表
注：运维基础区由于是一个集群承担运维和基础业务两种角色，并且运维和基础业务有各自的网段，其上承载的虚拟机不能互访。所以需要把FT和iSCSI的备用网卡都拿出来到分布式交换机的vm network上，保证基础业务和运维每个网段都有两张网卡可以接到各自的两台物理交换机上，保障物理设备和链路的冗余。
虚拟交换机配置:
分布式交换机的负载均衡选择“基于物理网卡负载的路由”
应客户要求，如果以后网络进行万兆改造，服务器上只有两个网口，那么为了做到网络隔离，推荐下列设计：
两个网卡一个负责虚拟机网络，另一个负责管理网络和vmkernel应用，二者互为主备。可以通过NIOC设置份额，让各个vmkernel网络按份额比例分配。
6 存储规划
6.1 设备连接冗余设计
存储设备的高可用性非常重要，建议连接到共享存储的每台ESX主机配备两块HBA卡，并提供两台物理光纤交换机，避免单点故障。
ESXi主机安装后可以管理多路径，对于配备了两个控制器的存储，使用主动-主动控制器，路径选择策略可以是“固定”或“循环”策略。
6.2 共享存储容量规划
共享存储总共规划容量6T，由20个LUN构成，每个大小300G。根据VMware实践，推荐Datastore与Lun一一对应，按照此规则各个集群数据存储容量规划方案如下：
6.3 存储命名规范
本地存储命名
- 三位：ESX主机名后三位;
- 一位：连接符“-”;
- 五位：固定字串“local”;
- 一位：连接符“-”;
- 二位：序号，从1开始。
例子：e01-local-01
共享存储命名
- 群集后5位;
- 一位：连接符“-”;
- 五位：存储类型标识 “fc” – Fiber Channel SAN storage “iscsi” – iSCSI storage “nas” - NAS storage “vplex” - vplex storage
- 一位：连接符“-”;
- 二位：序号，从1开始。
示例：cls01-fc-01
7 备份规划
vSphere Data Protection (VDP) 是一个基于磁盘的备份和恢复解决方案,可靠且易于部署。 vSphere Data Protection 与 VMware vCenter Server 完全集成,可以对备份作业执行有效的集中式管理,同时将备份存储在经过重复数据消除的目标存储中。
7.1 vSphere Data Protection 具有优势
1 针对所有虚拟机提供快速有效的数据保护,甚至可保护那些已关闭或在物理主机之间移动的虚拟机。
2 在所有备份上使用智能重复数据消除,从而可极大地减少备份数据所消耗的磁盘空间。
3 通过使用更改数据块跟踪和 VMware 虚拟机快照,降低了备份虚拟机的成本,尽可能地缩短了备份窗口。
4 可实现轻松备份,无需在每个虚拟机上安装第三方代理。
5 可以作为集成组件简单直接地安装到 vSphere 中,可通过 Web 门户进行管理。
6 对 vSphere Data Protection 配置的直接访问已集成到标准的 vSphere Web Client 中。
7 使用检查点和回滚机制保护备份。
8 从基于 Web 的界面中,通过最终用户启动的文件级恢复 (诸多限制)提供 Windows 和 Linux 文件的简化恢复。
7.2 vSphere Data Protection 体系结构
vSphere Data Protection (VDP) 使用 vSphere Web Client 和 vSphere Data Protection 应用装置将备份存储到经过重复数据消除的存储中。
vSphere Data Protection 由一组在不同计算机上运行的组件构成 (如下图所示)。
1 vSphere
2 vSphere Data Protection Appliance
3 vSphere Web Client
vSphere Data Protection 应用装置有三种选项可用:
建议XX银行虚拟化数据中心采用2TB VDP类型。由于每个集群互不相通，所以每个集群各部署一个VDP Appliance。备份介质可以使用NAS，在网络设计部分已经建立iSCSi端口，可以通过网络进行备份。虚拟机备份保留策略为每天一备，保留7天。
注：VDP是已虚拟机为最小单位的备份工具，对于虚拟机里面的应用和Oracle数据库不能单独备份。建议客户采用应用和Oracle的专用备份工具对其备份。对于Lan-Free备份方式，可以咨询Netapp和赛门铁克等厂商。他们针对虚拟化平台有对于的产品和解决方案可以把虚拟机备份到带库中。
8 虚拟机设计
8.1 安装和配置VMware Tools
每台虚拟机安装好操作系统后，必须先安装vmware tools。没有vmware tools驱动，vsphere的一些功能将使用受限。
以下功能是仅当安装VMware Tools 时才可用的一些功能：
- 支持Aero 的操作系统上大大提升的图形性能和Windows Aero 体验
- 在虚拟机与主机或客户端桌面之间复制并粘贴文本、图形和文件
- 改进的鼠标性能
- 虚拟机中的时钟与主机或客户端桌面上的时钟同步
- 帮助自动执行客户机操作系统操作的脚本
安装步骤请参考VMWare知识库文档：1014294
http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=ex&bbid=TSEBB_1267116806002&url=&stateId=1%200%20125994156&dialogID=125988560&docTypeID=DT_KB_1_1&externalId=1014294&sliceId=1&rfId=
Installing VMware Tools in a Windows virtual machine (1018377)
Installing VMware Tools in an Ubuntu virtual machine (1022525)
Installing VMware Tools in a Novell virtual machine (1018299)
Installing VMware Tools in a Linux virtual machine using RPM (1018392)
Installing VMware Tools in a Linux virtual machine using Compiler (1018414)
Installing VMware Tools in a Solaris virtual machine (1023956)
8.2 虚拟机模板管理
虚拟机模板统一放置在运维区，需要部署到其他区时候，进行虚拟机克隆，导出ovf文件形式再导入到相应区域进行部署。
8.3 虚拟机磁盘格式选择
虚拟磁盘有三种方式供给方式：
- 厚置备延迟置零(Thick Provision Lazy Zeroed)：以默认的厚格式创建虚拟磁盘。创建虚拟磁盘时分配虚拟磁盘所需的空间。创建过程中不会清除物理设备上保留的数据，但以后初次从虚拟机写入时则会按需置零。使用默认的平面虚拟磁盘格式，不会根除或消除恢复已删除文件或还原此已分配空间上可能存在的旧数据的可能性。无法将平面磁盘转换为精简磁盘。
- 厚置备置零(Thick Provision Eager Zeroed)：一种厚虚拟磁盘类型，可支持群集功能，如 Fault Tolerance。在创建时为虚拟磁盘分配所需的空间。与平面格式相反，创建虚拟磁盘时，会将物理设备上保留的数据置零。创建这种格式的磁盘所需的时间可能会比创建其他类型的磁盘长。
- 精简置备(Thin Provision)：使用此格式可节省存储空间。对于精简磁盘，可以根据输入的磁盘大小值置备磁盘所需的任意数据存储空间。但是，精简磁盘开始时很小，只使用与初始操作所需的大小完全相同的存储空间。注意 如果虚拟磁盘支持群集解决方案(如 Fault Tolerance)，请勿将磁盘设置为精简格式。如果精简磁盘以后需要更多空间，它可以增长到其容量上限，并占据为其置备的整个数据存储空间。而且，您可以将精简磁盘手动转换为厚磁盘。
建议将I/O负载较重的虚拟机分别驻留在不同的VMFS(LUN)上。
8.4 虚拟机文件系统选择
VMFS 数据存储是VMkernel处理磁盘的默认方式;VMkernel对磁盘分区并进行格式化，创建了VMFS文件系统的磁盘在vSphere中称为数据存 储，而且VMkernel能够读取磁盘，VMFS的优势是单个磁盘(在SAN中术语为LUN)能够承载多个虚拟机。
有关每个LUN应该承载 多少个虚拟机，平均数应该是12(生产系统推荐8个，测试类系统可用16个)个虚拟机共享一个数据存储。一个数据存储能够承载多个虚拟机及构成虚拟机的所有文件。这些文件包括VMX文 件(该文件列出了虚拟机的硬件配置)和VMDK文件(虚拟机的硬盘以及构成虚拟机的其他零散文件)。
使用RDM，VMkernel不会对LUN进行格式化，而是由虚拟机客户操作系统对LUN执行格式化。每个RDM是一块单独的虚拟机硬盘，而且通常只关联到单个虚拟机。RDM存储虚拟机的磁盘内容而非虚拟机文件，构成虚拟机的文件需要存放在RDM之外的数据存储上。
部署RDM通常基于RDM能够提供更好的性能这一理念，因为其开销要比VMFS上的VMDK文件低。但是在某些情况下，RDM要比VMFS的性能还要差一些。
关于RDM配置，请参考官方文档《vSphere 存储》第18章“裸设备映射”一节。
注：除非软件应用有要求使用RDM，VMWare官方推荐客户使用VMFS文件系统，可用充分利用虚拟化的一切特性。
8.5 虚拟机集群共享存储配置
Virtual SCSI 适配器
集群的成员虚拟机必须选择专用的SCSI适配器。参考官方文档KB1037959
For example, if the system disk (drive C:) is attached to SCSI0:0, the first shared disk would be attached to SCSI1:0, and the data disk attached to SCSI1:1.
The shared storage SCSI adapter for Windows Server 2008 and higher must be the LSI Logic SAS type, while earlier Windows versions must use the LSI Logic Parallel type.
Disk configurations
•RDM: Configurations using shared storage for Quorum and/or Data must be on Fibre Channel (FC) based RDMs (physical mode for cluster across boxes "CAB", virtual mode for cluster in a box "CIB") in vSphere 5.1 and earlier. RDMs on storage other than FC (iSCSI and FCoE) are only supported in vSphere 5.5..
•VMFS: Virtual disks used as shared storage for clustered virtual machines must reside on VMFS datastores and must be created using the EagerZeroedThick option. This can be done using the vmkfstools command from the console, the vSphere CLI, or from the user interface. To create EagerZeroedThick storage with the vmkfstools command:
1.Log into the console of the host or launch the VMware vSphere CLI.
2.For example, to create a 10 GB file in datastore1 named myVMData.vmdk, run the command:
▪Using the console:vmkfstools –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdkNote: Replace 10g with the desired size.
▪Using the vSphere CLI:vmkfstools.pl –-server ESXHost –-username username --password passwd –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdk
•To create EagerZeroedThick storage with the user interface:
1.Using the vSphere Client, select the virtual machine for which you want to create the new virtual disk.
2.Right-click the virtual machine and click Edit Settings.
3.From the virtual machine properties dialog box, click Add to add new hardware.
4.In the Add Hardware dialog box, select Hard Disk from the device list.
5.Select Create a new virtual disk and click Next.
6.Select the disk size you want to create.
7.Select the datastore with the virtual machine or select a different datastore by clicking Specify a datastore and browsing to find the desired datastore.
8.To create an EagerZeroedThick disk, select Support clustering features such as Fault Tolerance.Note: Step 8 must be the last configuration step. Changes to datastores after selecting Support clustering features such as Fault Tolerance cause it to become deselected.
Complete the wizard to create the virtual disk.
根据以往经验，如果数据库的大小<800G，建议使用VMFS格式，如果数据库大小>800G，可以考虑使用RDM方式。
需要设置的共享盘：心跳盘，数据库用到的磁盘(NEC Cluster设置需要磁盘多宿主)。
在使用NEC Cluster时候，主应用虚拟机允许迁移，但不设置回切。在主备虚拟机之间设置关联规则：互斥，避免应用双机同时迁移到同一台ESXi主机上。
设置NEC Cluster共享盘时， 心跳磁盘大小大于200M以上即可，使用VMFS方式。
设置集群IP时：分为Service IP(对外)，public IP(管理)，private IP(心跳)。Service IP与public IP在同一网段内，private IP单独规划出一个网段，做到网络隔离。
本文作者：赵海，曾在IBM、惠普中国等企业任软件工程师、高级系统工程师，2013年加入IBM Devops Solution Team，参加云计算项目建设及部署，以及后期的咨询及解决方案提供工作。2014年加入某城商银行系统规划设计中心，任系统架构师，专注于银行数据中心解决方案规划及设计工作。
