2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会。
在4月26日的NoSQL&NewSQL专场论坛中,新浪高级DBA卢侯军伟先生表了主题为“Redis在新浪的大规模运维经验”的演讲。
Redis简介:
Redis是一个key-value存储系统,它和Memcached很像,支持存储的value类型相对很多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型基本全支持push/pop、add/remove及取交集并集和差集及更丰富的操作,并且这些操作都是原子性的。以此为基础,Redis支持各种不同方式的排序。和memcached一样,为了保证效率,数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且以此为基础实现了master-slave(主从)同步。
Redis 是一个高性能的key-value数据库。Redis的出现很大程度补偿了memcached这类key/value存储的不足,在多种场合可以对关系数据库起到很好的补充作用。它提供了Python,Ruby,Erlang,PHP客户端,使用很方便。
Redis应用:
Redis的一个很大好处就是可以不用整个转入到这个数据库,而是可以沿用之前的MySQL等数据库,而仅在一些特定的应用场景通过Redis的特性提高效率。本文列出了11个这样的Web应用场景,如显示***的项目列表、删除和过滤、排行榜等相关需求。
运维经验:
每个node一个NodeWatcher线程,每隔2秒钟检查一次node的状态(syncing、available、unavailable)
如果node连续max_failures次失败的话,设置为unavailable
NodeWatcher将 状态存放在NodeManager的状态queue中
1.unavailable
处理时判断node是否为master,如果为master则执行promote_new_master将选出新的master并对剩余的slave执行slaveof,如果是slave的话,则从slave列表中移除
2.syncing
将node加入到unavailable列表中,并从slave列表中移除
3.available
判断node是否在当前的available列表中,如果不在列表中,则加入到available列表中。