几千万记录,数据库表结构如何平滑变更?

开发 开发工具 其他数据库
数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?任何脱离业务的架构设计都是耍流氓。

 


继续回答知识星球水友提问。

 

问题域:数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?

画外音,一般来说,是指增加表的属性,因为:

  • 如果是减column,升级程序不使用即可;
  • 如果是修改column,程序兼容性容易出问题;

首先,一起看下有哪些常见方案。

(1) 方案一:在线修改表结构。

画外音:alter table add column

数据量大的情况下,锁表时间会较长,造成拒绝服务,一般不可行。

(2) 方案二:通过增加表的方式扩展属性,通过外键join来查询。

举个例子,对:

  1. t_user(uid, c1, c2, c3) 

想要扩展属性,可以通过增加一个表实现:

  1. t_user_ex(uid, c4, c5, c6) 

数据量大的情况下,join性能较差,一般不可行。

(3) 方案三,通过增加表的方式扩展,通过视图来屏蔽底层复杂性。

同上,视图效率较低,一般不使用视图。

画外音:至少58到家禁止使用视图。

(4) 方案四,揍产品经理,阻止她修改需求。...

(5) 方案五,提前预留一些reserved字段,加列可复用这些字段。

这个方案可行,但如果预留过多,会造成空间浪费。

(6) 方案六,pt-online-schema-change

对于MySQL而言,这是目前比较成熟的方案,被广大公司所使用。

画外音:我呆过的互联网公司,数据库均使用MySQL。

下面仍以用户表扩展为例,说下这个工具内部的原理与步骤。

假设:

  1. user(uid, name, passwd) 

要扩展到:

  1. user(uid, name, passwd, age, sex) 

第一步,先创建一个扩充字段后的新表:

  1. user_new(uid, name, passwd, age, sex) 

画外音:就是被扩展后的表。

第二步,在原表user上创建三个触发器,对原表user进行的所有insert/delete/update操作,都会对新表user_new进行相同的操作;

第三步,分批将原表user中的数据insert到新表user_new,直至数据迁移完成;

第四步,删掉触发器,把原表移走(默认是drop掉);

第五步,把新表user_new重命名(rename)成原表user;

扩充字段完成,整个过程不需要锁表,可以持续对外提供服务。

操作过程中需要注意:

  • 变更过程中,最重要的是冲突的处理,一条原则,以触发器的新数据为准,这就要求被迁移的表必须有主键(这个要求基本都满足);
  • 变更过程中,写操作需要建立触发器,所以如果原表已经有很多触发器,方案就不行(互联网大数据高并发的在线业务,一般都禁止使用触发器);
  • 触发器的建立,会影响原表的性能,所以这个操作必须在流量低峰期进行;

pt-online-schema-change是DBA必备的利器,比较成熟,在互联网公司使用广泛,要了解更详细的细节,亦可以Google一下。

任何脱离业务的架构设计都是耍流氓。

【本文为51CTO专栏作者“58沈剑”原创稿件,转载请联系原作者】

戳这里,看该作者更多好文

 

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2010-08-06 14:29:14

DB2数据库并置

2010-09-10 13:37:30

表分区SQL Server

2018-09-11 17:13:23

MySQ数据库重复记录

2011-05-18 13:16:21

MySQL数据库锁定

2009-02-02 13:16:23

修复数据表MySQL

2011-08-04 15:55:25

SQL Server数

2011-08-04 13:31:50

数据库记录更改日志触发器

2011-07-29 11:20:51

MySQL数据库字段重复

2023-09-14 23:05:57

​ ​MySQL数据库

2011-08-25 13:41:50

SQL Server 变更跟踪

2023-03-29 07:02:46

开源项目工具

2010-05-24 13:14:19

创建MySQL

2011-05-17 11:23:02

Oracle数据库

2014-07-09 14:23:20

WordPress数据库表

2009-02-02 16:50:34

数据库表的锁定MySQL

2020-12-09 11:38:16

数据库测试环境

2011-03-07 13:30:53

Oracle数据库

2010-04-28 18:25:51

Oracle数据库

2010-07-12 15:49:53

MS SQL Serv

2011-03-29 09:26:35

Oracle数据库
点赞
收藏

51CTO技术栈公众号