简单数据库迁移实践

数据库 其他数据库
现在NoSQL流行,有一个原因也是因为不需要去刻意处理table的schema,直接存储数据,这样简单!所以也不会有数据库表的迁移问题。数据库表迁移这一块儿一直是一个麻烦点,但我最近用了sqlite3做了个小项目,所以总结下数据库迁移的方案。

[[194803]]

现在NoSQL流行,有一个原因也是因为不需要去刻意处理table的schema,直接存储数据,这样简单!所以也不会有数据库表的迁移问题。数据库表迁移这一块儿一直是一个麻烦点,但我最近用了sqlite3做了个小项目,所以总结下数据库迁移的方案。

原理

  1. 每一次数据表改动,都对应一个数据库版本号
  2. 数据迁移是渐进式的,比如把数据库版本从1 升级到n,那么就升级n-1次,版本1到2,2到3,直到n-1到n。

实施

1. 使用sqlite3的user_version 存贮自定义的数据库版 

  1. /*设置版本号*/ 
  2.  
  3. PRAGMA user_version=1; 
  4.  
  5. /*读取版本号*/ 
  6.  
  7. PRAGMA user_version;  

 2. 所有的数据库升级文件,放在一个文件中,都直接使用sql文件,方便直接查看管理。文件结构如下

 

 

 

文件结构设计

  • v1.sql v2.sql, v3.sql等 是每个数据库版本,完整的数据库定义文件
  • v1tov2.sql, v2tov3.sql等 是间隔版本数据库升级文件。一个数据m到n升级的过程就是,运行 v[m]tov[m+1].sql, v[m+1]tov[m+2].sql, 直到 v[n-1]tov[n].sql
  • run.sh 就是每次要跑的数据迁移脚本,包括了当前的版本号和迁移逻辑
  • 其中的v2.sql 到v[n].sql 不是必须的,只是为了方便查看当前***的数据表设计,如果存在v[n].sql 那么创建新数据库也可以直接从这个文件来创建

3. 迁移脚本如下, 具体逻辑注释中已经写明

4. v[n].sql 和v[n-1]tov[n].sql 文件的***都去需要通过user_version来设置数据版本为n,一个v2tov3.sql 的demo如下:

总结

使用场景

目前这套方案适合数据量小,对停机维护可以接受的业务情况,因为需要停机升级,但是这个方案,足够简单清晰且能满足所有不同版本间的数据升级。

不足与展望

  1. 这个方案没有考虑到数据升级失败的回滚。由于是小业务,所以考虑更多的是简单易维护。所以针对这种情况的,首先要保证升级脚本经过了足够的线上数据测试,经的起考验。其次,一旦发生问题,线上可以直接操作维护,写脚本。这样说,因为你都没有测试到这种需要rollback的case,你也不能在写升级脚本的时候,知道这种case是怎样,所以提前写好rollback的逻辑不一定可行或者合适。
  2. 部署时,数据迁移之前要备份,数据量较大些,用增量备份,节省时间。备份有成熟的工具,而且备份方便升级失败时rollback。部署的步骤应该是: 拉代码build(或者拉docker镜像)-> 备份数据库 -> 升级数据库 -> 跑新的代码
  3. 对于Android,iOS的设备中使用sqlite3的情况,数据迁移的逻辑是一样。sql文件结构设计可以重用,也可以写到代码里去管理。迁移脚本需要转换成native的Java或者Objective-C,Swift的代码。
  4. 对于更大的业务,多实例的的数据库迁移可以使用Flyway 

 

责任编辑:庞桂玉 来源: 36大数据
相关推荐

2017-11-22 09:20:41

数据库在线数据迁移Subscriptio

2020-06-08 10:41:13

云计算数据工具

2020-08-13 07:42:15

数据库Flyway代码

2011-09-23 09:09:38

数据库迁移

2011-03-14 15:42:57

Oracle数据库迁移复制

2011-06-29 14:01:30

多数据库实例效率

2011-04-29 14:30:23

2009-03-19 09:44:07

SQL Server数据库迁移数据库

2019-08-13 15:52:34

数据库同步迁移

2011-05-11 10:26:36

MySQL数据库无缝迁移

2021-04-09 08:21:25

数据库索引数据

2010-03-18 09:28:14

Oracle数据库迁移

2009-03-19 09:50:25

迁移微软Analysis Se

2009-03-23 09:05:01

2022-02-10 10:51:35

数据库

2024-05-28 00:00:30

Golang数据库

2013-10-08 09:54:41

数据库安全数据库管理

2009-11-20 15:03:29

2017-04-07 15:00:57

Lotus-NotesORACLE数据迁移

2010-06-28 10:06:09

SQL Server数
点赞
收藏

51CTO技术栈公众号