2013年11月22至23日,大数据领域的盛会,2013年Hadoop中国技术峰会在北京召开,来自国内外的技术专家齐聚一堂,来探讨大数据技术。51CTO记者在大会期间采访了小米资深工程师刘绍辉,他向记者分享了小米从MySQL迁移到NoSQL的HBase实践。
刘绍辉,小米云存储团队工程师。专注于小米hbase 的落地,业务支持和特性开发;关注hbase 社区发展,积极参与社区交流和开发,贡献自己的力量。原腾讯SOSO基础架构部工程师,参与typhoon mapreduce和torca系统的开发。
刘绍辉表示,随着小米业务的逐渐扩展,特别是大数据时代的到来,原有的关系型数据库MySQL已经逐渐无法满足需求,因此向NoSQL迁移是很自然的事情。小米使用的NoSQL数据库是HBase,之所以选择HBase主要的考虑有两个方面,***是对运维、容错、可扩展性的支持,第二是HBase的成本相对较低。目前HBase已经支持了小米的米聊以及PUSH服务,并且更多的服务也都在预计迁移当中。
另外,值得一提的是,小米在HBase迁移过程中做了不少工作,并且将其中的一部分成果开源出来。比如Hadoop的部署监控系统Minos,小米在迁移过程中发现没有一款好的监控系统能够满足他们对自动化和个性化数据的支持,因此自己开发并且免费贡献出来。
目前云计算和大数据的基础领域,开源十分盛行,并且一些大公司都乐于将自己的成果分享出来,这在国内以前是很难看到的。之所以会出现这种现象,刘绍辉认为,因为目前这些领域的技术发展十分迅速,如果一个公司创建了一个开源项目分支并且将其闭源的话,很快就会与开源项目脱节,无法应用***特性和技术。因此大公司都在这些项目的开源领域活跃,希望能够影响开源项目向符合自己要求的方向前进,而影响的***方法就是贡献自己的成果。
采访视频: