Twitter将开源其使用的MySQL

数据库 MySQL
我们终于可以看到像Twitter这样的网站是怎样运用和优化MySQL的。因为Twitter即将开源其使用的MySQL。

MySQL是被广泛使用的一个数据库,但是Web开发人员会在大规模访问时的数据库扩展以及性能方面遇到问题。这也是近年来NoSQL 数据库开始出现并逐渐繁荣的一个原因。对于关注 MySQL 可扩展性的 DBA 人员来说,当然非常希望看到像Twitter这样的网站是怎样运用和优化MySQL的。

Jeremy Cole和Davi Arnaut 是Twitter DBA和DB开发组的成员,他们表示,大部分Twitter 数据都采用了MySQL作为持久化存储,包括发表的 Tweets、兴趣图、时间线,以及用户数据。由于Twitter的数据规模和访问规模, 他们不得不对MySQL源码进行修改优化以适应这种级别的应用。为了回馈社区,他们决定在 BSD 许可证下开源他们对 MySQL 所做的贡献。项目托管在 GitHub,主要的修改包括:

增加状态变量,特别是在 InnoDB 引擎内。这样能更有效地监控系统负载和运行状态。

在非一致性内存访问系统中优化内存分配。在初始化时就分配 InnoDB 的缓存池,如果内存不足则可迅速获得错误报告,这样在服务器面临内存压力时也能保证性能稳定。
减少查询超时中一些不必要的操作。这样服务器可以在毫秒级别主动取消耗时过长的查询。

以一种轻量的方式导入导出InnoDB的缓存池。这样可以让我们以最小的代价执行回滚。

针对 SSD 固态硬盘进行优化,包括page-flushing 以及减少写操作以改善SSD硬盘寿命。

另外在4月12日,Twitter还将对Gizzard, 一个MySQL的分片复制框架进行详细介绍。如果有任何问题,都可以在GitHub上向他们提 issue。
 

责任编辑:彭凡 来源: cnbeta
相关推荐

2012-04-11 09:52:32

开源MySQL

2012-04-11 09:35:04

TwitterMySQL

2014-01-17 09:38:07

Twitter开源流处理

2022-12-14 09:51:04

Twitter开源

2023-04-04 19:10:29

Twitter算法开源

2009-03-03 11:31:21

Twintter集成搜索

2013-11-05 10:02:15

IBMTwitter侵犯专利

2016-10-17 15:04:02

开源DistributedApache Kafk

2015-05-07 09:32:55

APP开源

2014-01-13 09:36:37

Twitter开源软件

2020-07-03 09:08:22

开源安全工具开源工具

2011-11-21 10:04:52

Java开源Google

2012-08-30 14:33:03

Spark

2012-07-20 15:03:49

微软开源

2011-08-08 13:26:48

iOS开发 Twitter

2015-07-31 10:30:47

IBM Cloudan开源搜索

2013-01-25 09:32:16

开放平台谷歌GitHub

2009-01-03 10:25:51

2013-01-25 10:16:38

开源开放

2014-05-27 16:23:46

Twitter开放数据
点赞
收藏

51CTO技术栈公众号