传统的存储主要是基于SAS或者SATA等类型的传统硬盘,随着互联网的发展和企业业务的转型,SAS/SATA的性能已经无法满足业务的需求。在更多新的存储技术中,闪存介质已经成为主流。随着软件定义的崛起和流行,闪存的地位更成为企选型的基本配置。越来越多的传统企业尝试将部分系统迁移到软件定义存储上,甚至是核心系统。
然而多种不同的业务系统对于存储性能的需求也各不相同,关于全闪、混闪的使用场景;数据从传统存储至闪存的在线迁移;闪存在使用及运维中的注意事项等,也困扰着广大同仁。
社区不久前组织在线同行技术探讨,围绕“制造核心系统传统存储升级全闪存F900或混闪V7000F实施方案”进行了交流,其中若干分享内容,对大家有一定的参考价值,现由社区专家张志强整理如下。
1、 什么样的公司需要使用闪存?闪存的应用场景有哪些?
■ chinesezzqiang 某制造企业资深技术专家
其实应该说是什么样的应用场景需要。
闪存适合以下场景:
- 冷热数据分离的场景;
- 高并发要求较高的场景,比如大数据的Kafka;
- 物联网的数据抽取;
- 云平台的虚拟机(云桌面)
2、 许多企业管理应用软件已经逐渐往云端转移,闪存存储是否还优势?
■ 邓毓 某农信社资深骨干工程师
无论是迁往何处,应用对性能的极致需求是十分向往的,只要存在这样的应用或者数据库,那么全闪就能提供这样的性能,其优势就在于极致的IO响应时间、吞吐量和IOPS,这是目前传统机械硬盘的存储无法达到的。
■ chinesezzqiang 某制造企业资深技术专家
一般企业的核心系统是很难迁移到公有云的,比如SAP,ERP甚至生产企业用的MES等系统。所以闪存的优势还是很强势的,需求量依然很大。
3、 纯闪存价格颇高,如何与现有的传统存储搭配,实现成本与性能的平衡?
■ 邓毓 某农信社资深骨干工程师
全闪价格昂贵,考虑性价比,可以考虑混闪方案,存储插槽支持固态盘和机械硬盘混插,存储本身具备分层能力,分为高性能层和普通层,热点数据自动进入高性能层运行,性能得到保证,冷数据依旧保持在普通层,保证容量。
■ coolmuch IBM存储资深售前工程师
闪存价格现在是越来越低,单位TB的价格已经不会比15K转盘高多少了。因此,建议重要的业务数据都可以采用闪存介质。数据备份、归档、大数据等可以采用NL_SAS盘。
4、 使用闪存能给公司带来哪些好处?投入产出比为多少?
■ coolmuch IBM存储资深售前工程师
- 投入产出比要根据每个公司的实际情况来评估,好处如下:
- 提升关键业务系统的运行速度,基本可以消灭存储IO瓶颈。
- 减少机房空间占用,现在一台2U高的闪存存储可以在高性能的情况下提供高达PB级的存储空间。相当于原来几个机柜的存储空间,现在只需要2U的空间即可。
- 节能,将现有存储换成Flash存储,存储设备的耗电量也可以节省80%以上。
运维更简单,管理员不用频繁挑战存储的IO性能,提升业务的稳定水平。
5、与传统存储相比,性价比问题?
除去银行、运营商对性能要求高的业务系统外,其他制造业对于性能要求不是那么苛刻,据了解一块1.6t的ssd将近3万,如何增加闪存盘的性价比?
■ coolmuch IBM存储资深售前工程师
如果单纯讨论盘的容量和价格的对比,同样容量下的闪存盘价格比普通盘要高。
但是,普通磁盘的性能很低,一块15k转的盘的IOPS约为250,10k转的盘IOPS为180.如果要满足一个2万IOPS需求的数据存储,需要大约100块以上的传统磁盘。而采用闪存盘就只需要一个RAID组即可。这个时候,采用闪存盘的价格甚至会更低,性能要高出很多,占用的机房空间也小,日常能耗也低。整体的性价比要比传统存储高出很多。
6、闪存是否在使用寿命方面不如传统硬盘?
■ coolmuch IBM存储资深售前工程师
需要澄清一下,闪存的寿命不如传统硬盘的说法是不准确的。首先衡量闪存盘的寿命指标是单个数据块的擦写次数,只有数据块被擦写的时候才有磨损,因此读是没有磨损的。有人做过估算,一个每个数据块可以允许5年每天擦写1次寿命的1TBFlash盘,相当于1TB的数据存储空间可以被重复写入1800次,即可以写入1800TB的数据。
衡量传统盘寿命的指标是磁盘转速,只要磁盘在转就会产生磨损,无论读写。
因此在写少读多的应用上,闪存盘的磨损速度要比传统盘低很多。结合实际的使用情况来看,目前大部分的闪存盘的可靠性要高过传统盘。另外,用户还可以根据自己对于写IO的评估来选择不同类型的闪存介质。
■ 邓毓 某农信社资深骨干工程师
大家都诟病的闪存的寿命问题,我相信技术的进步带来耐用性上的提高是显而易见的,像健康装箱和隔离、ECC保护、磨损平衡等。
7、新建数据中心如何选闪存?
■ coolmuch IBM存储资深售前工程师
建议先规划所需要的闪存的存储容量和高可用级别。
对于高可用级别高的业务需求,可以采用SVC做本地双存储镜像,后端采用两台F900作为镜像存储,提高可靠性。
另外,目前闪存的价格已经只比普通15k转SAS盘高一些,建议可以尽量采用全闪存方案。
8、 存储间数据迁移的有哪几种常见方式?传统迁移至闪存?
■ coolmuch IBM存储资深售前工程师
数据迁移的方式有很多,在应用层、数据库层、操作系统层和存储层都有相应的解决方案。如果只谈存储层面,主要有以下两种种方式可以参考:
- 数据复制:同品牌同系列的存储设备之间往往都可以进行数据复制,新旧存储设备之间可以通过数据复制技术来实现跨存储数据迁移。某些闪存存储和传统存储之间也可以数据复制,该方法也适用。
- 存储网关:例如通过IBM SVC存储网关就可以实现简单的存储在线数据迁移。如果现有环境中已经有SVC网关,那么只要将新存储给SVC管理,然后将现有存储的LUN迁移到新增的存储池上,或者是镜像到存储池中都可以。SVC网关的数据迁移好处很多,包括:可以跨不同厂商的存储设备进行数据迁移,可以在线迁移、可以调整数据复制的速度等。如果现有环境中没有SVC,也可以通过增加SVC实现快速数据在线迁移。
■ 邓毓 某农信 社资深骨干工程师
传统存储数据迁移至闪存可以参考如下四种方案:
(1)操作系统层数据镜像方案
如 AIX LVM,步骤如下:
•映射闪存阵列的 LUN 至 AIX OS,并加入 VG。
•将原传统阵列 LUN 和闪存阵列 LUN 做 LVM。
•同步完成后,找停机窗口,从 VG 中拆除镜像,剔除原传统阵列 LUN。
•重新激活 VG,并挂载数据文件系统,验证。
(2)数据库备份恢复和 OS 层面的克隆方案
如 数 据 库 : DB2 BACKUP/RESTORE , ORACLE RMAN,OS 克 隆 : AIX ALT_DISK_COPY,VM SNAPSHOT,VM P/V to V 等,步骤如下:
•搭建新环境,该环境存储采用闪存阵列。
•通过 OS 层面的克隆技术,将 OS 数据复制/迁移至新环境。
•通过数据库层备份恢复,将数据库数据恢复至新环境,并验证。
(3)存储本身自带的 LUN 镜像方案
如 IBM V9000 等,步骤如下:
•找停机窗口,将原传统阵列 LUN 映射至 V9000。
•在 V9000 中,将原传统阵列 LUN 数据镜像(VDM)至 V9000LUN。
•待镜像同步完成后,将两个 LUN 主备关系反转,闪存作为主存储,原传统阵列 LUN 作为备存储。
•将两个 LUN 虚拟化后形成的 VDISK 映射至主机,验证,此时主机存在 V9000 和原传统阵列两份数据保护。
(4)存储虚拟化网关的 LUN 镜像方案
如 IBM SVC、EMC VPLEX 等,步骤如下:
•找停机时间,取消原传统阵列 LUN 至主机的映射,将该 LUN 映射至虚拟化网关进行管理。
•虚拟化网关将该 LUN(mdisk)虚拟化成虚拟 LUN(vdisk),并映射给主机。
•创建 vdisk 的闪存阵列 LUN 镜像拷贝。
•待拷贝完成后,将闪存阵列 LUN 置为主拷贝,原传统阵列 LUN 置为备拷贝。
•验证。
9、系统下线的话,我们应该用怎么样的存储对系统进行归档?
■ 邓毓 某农信社资深骨干工程师
大容量硬盘的传统存储即可,但为了数据的冗余性和可靠性,最好该存储具备远程复制技术,能够异步/同步将数据同步至灾备端。
■ coolmuch IBM存储资深售前工程师
对于系统归档,用大容量磁盘或者磁带库都是可以的,IBM的磁带库有提供文件系统接口,方便像文件一样访问,适合数据归档使用。另外数据归档设备的选择更多的需要考虑归档软件的支持。
10、 全闪存F900或混闪V7000F 是否是分布式架构?
■ coolmuch IBM存储资深售前工程师
IBM F900和V7000F不是分布式架构,支持FC、iSCSI等接入方式。
IBM Flashsystem A9000R是分布式架构的全闪存存储,可以作为企业内部的云存储。
11、 全闪存F900或混闪V7000F应用场景和性能参数?
■ coolmuch IBM存储资深售前工程师
全闪存F900适用于用户需要极致的IO响应速度,对于存储功能要求少的场景,或者结合SVC来使用。F900特别适用于关键应用加速、AI模型训练等场景。
第一代F900配置12个模块的SPC-1测试为40多万IOPS,而且响应时间都在0.5ms以内。
V7000F适用于大部分的应用场景,具有丰富的存储功能。V7000F的性能与所配置的闪存盘的数量有很大关系。
12、F900、V7000F后续扩容灵活性如何?
■ coolmuch IBM存储资深售前工程师
IBM Flashsystem900 是按照12个模块为一个整体的闪存存储,强调的是设备的性能。如果需要扩展,建议搭配SVC来实现按套扩展。
IBM Storwize V7000F是可以灵活扩展的全闪存存储,可以根据业务需要按需扩展,最大可以扩展到8个控制器,3000块盘。
13、F900与传统存储搭配使用分层技术需要具备什么条件?
■ coolmuch IBM存储资深售前工程师
F900本身是没有分层功能的。因此和传统存储的搭配使用需要额外的软硬件设备进行分层。有以下两种:
- 对于SAN类型的存储应用,建议搭配SVC网关来实现分层,SVC可以做数据在Flash介质和普通盘之间的自动分层,也可以提供简单的界面操作进行手动分层,根据需要将热点数据手动迁移到Flash存储池。并且可以配合IBM Spectrum Control软件进行IO的监控,作为数据迁移的依据。
- 对于非结构化数据(文件类型),建议搭配IBM Spectrum Scale(GPFS)并行文件系统进行数据按照策略在线迁移。
14、全闪存的数据安全问题?
传统环境下机械硬盘出现故障还能做物理上的数据恢复,闪存真要是坏了,怎么处理?
■ 邓毓 某农信社资深骨干工程师
闪存模块间也有RAID保护,整个模块故障了,数据不丢失,热备盘顶上,再更换新模块,进行RAID重建,这点与传统机械硬盘的RAID保护是一样的。
另外,全闪技术比传统硬盘更高级的地方在于,闪存模块内部芯片级和平面级的保护,闪存芯片间存在可变条带化RAID,某一个芯片级的故障,数据不丢失,重新条带化,建立新的RAID保护,对存储使用者来说,无任何感知,这一切自动完成。