存储层面进行数据迁移 5 个典型问题

存储 存储软件
以上此类问题大多聚焦于存储层面的数据迁移工作,主要是相同品牌之间和不同品牌之间。经过多年的发展,存储虚拟网关已经是非常成熟的产品,每个厂商的产品名称不一样,但是效果大多还是不错的。

不同品牌存储直接的数据迁移、相同品牌存储数据直接的迁移、使用存储虚拟网关利弊等相关的5个典型问题,供大家参考。

V7000和DS8000直接的数据迁移问题?

1、不借助第三方工具,可以考虑使用基于系统的lvm mirror,aix linux hp-ux都支持 也可以通过应用本身来做,如oracle的asm。或者oracle rman的backup as copy 以及db2的重定向恢复(但需要短暂停机时间)。

2、只能基于主机或应用。 如果一定要基于存储做,建议使用svc

3、使用svc即可。但也要有个短暂的停机时间。使用vdm 或migration都可以

4、完全不停业务的话 考虑lvm mirror

5、如果目前两个环境都是独立使用的情况下,不停机的迁移基本上不可能。因为不管你怎么做,前端主机都要有一个再识别的过程。前端加一个SVC可能会比较好。V7000 这个产品如果用作去充当svc的作用的话,可能在性能上后续会差点意思。

刀箱的盘阵列上的存储数据,迁移到新的存储上方法与考虑?

目前刀箱上的磁盘是刀箱本地磁盘还是刀箱通过光纤模块连接的外置存储,这个需要说明一下。如果是刀箱内置硬盘,是否和本地刀片里的磁盘做过mirror。是否考虑迁移。是否配置连接存储的光纤模块。如果是通过光纤模块连接的那也就没什么了,和普通环境一样。使用LVM 的方式进行迁移。

使用存储网关,迁移同系列存储和异构存储考虑?

1、IO 能力:

目前来说存储网关产品配合着闪存可以覆盖95%以上的应用,io能力在几年内还是可以的。对于io极为苛刻的场景可以选择其他的具体方案

2、扩展能力:

很多时候官方产品宣传的很好,比如说我可以支持多少个节点的扩展能力,纵向到什么程度,横行到什么程度。但我们需要进一步去看拨开宣传华丽的面纱去看技术的实现。

是成对的扩容啊,还是一个整体的扩容,其实现原理和规模是不太一样的。

3、兼容性

是支持摸一个具体型号,还是支持摸一个品牌系列,这里边有很多种学问。会不会因为实施了虚拟网关后整体的io能力反而下降了,是产品不行还是实施的方案不对,曾经有的客户抱怨实施后的应用io能力下降了。这个里边需要做的工作太多了。

不同品牌的主机或存储服务器之间进行数据迁移?

1、底层存储用svc或vplex虚拟化,随时可以进行数据迁移,无需申请停机窗口

2、使用存储虚拟网关产品对于前端主机是透明的,可以忽略底层数据的存放和迁移工作,前段主机安装一种多路径软件,管理维护性比较好。

NAS上1.8PB非结构化数据迁移至对象存储,如何保证业务零中断?

GPFS可以实现一边挂载老nas一边挂在cos,内部实现在线数据迁移。

新的NAS设备本身有些具备向对象存储迁移的功能。

如果没有,一般的做法是先做快照,然后复制快照1,快照1复制的过程(校验文件清单T1+复制文件T2)(1.8P根据文件数量不同,如果小文件不是很多,我估计要复制1个月能搞定)中业务会产生新的数据,但是量会远远少于1.8PB, 然后在做快照2,再复制,依次类推。因为T2时间会越来越少。最终停机时间是至少T1时间。

有一些简单复制工具有依据文件大小和时间戳进行校验文件清单,T1估计是500万个文件1小时。

还有用md5做文件校验的,那个速度就很慢了。

linux用rsync就可以。windows平台有robocopy。

总结

以上此类问题大多聚焦于存储层面的数据迁移工作,主要是相同品牌之间和不同品牌之间。经过多年的发展,存储虚拟网关已经是非常成熟的产品,每个厂商的产品名称不一样,但是效果大多还是不错的。除了个别存储兼容性以外,主要考虑的就是存储虚拟网关的性能与后期扩展性方面。存储虚拟网关对前端主机透明,很好的屏蔽或封装了后端存储的复制性。提高了管理和运维的效率。存储虚拟网关已经是此类场景一个比较成熟的解决方案,后续其他应用场景广大同仁可以参考使用。

责任编辑:武晓燕 来源: talkwithtrend
相关推荐

2022-06-02 13:59:57

数据迁移数据

2018-03-06 14:26:38

虚拟化平台迁移

2021-06-11 06:00:37

苹果Mac数据迁移

2021-12-14 22:12:30

云计算云存储IT

2022-05-25 15:33:27

区块链加密货币

2011-07-05 09:56:02

服务器虚拟化数据存储

2022-08-18 07:43:17

分布式存储系统

2015-01-26 14:15:06

数据中心迁移

2014-12-11 11:03:45

云迁移数据存储

2021-11-14 15:13:18

存储数据存储技术

2020-08-14 10:45:26

Pandas可视化数据预处理

2023-10-31 17:52:26

数据中心工作负载

2023-05-05 19:16:22

Python数据清洗

2011-03-09 14:18:37

SQL数据累加

2017-10-31 11:55:46

sklearn数据挖掘自动化

2010-03-30 11:00:46

Oracle 数据

2016-11-04 20:34:05

2019-04-26 12:29:04

云迁移数据

2019-02-26 11:35:16

数据科学云端迁移

2019-09-30 10:12:21

机器学习数据映射
点赞
收藏

51CTO技术栈公众号