【51CTO快报】2009年12月31日消息,国内著名SNS网站豆瓣网于昨日在Google Code上发布了其自主开发的数据库存储系统BeansDB。
BeansDB是一个针对大数据量、高可用性的分布式存储系统,其最具特色的是使用Key - Value(键 - 值)存储模式;BeansDB采用HashTree和简化的版本号来快速同步保证最终一致性;并采用类似memcached的去中心化结构,在客户端实现数据路由。
据悉,豆瓣网是以New BSD许可证发布的BeansDB,目前只提供了Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。BeansDB的Key Value存储系统之前在亚马逊公司开发的Dynamo数据库中被广泛使用,一些BeansDB的测试者称BeansDB更像是Dynamo的一个简化版。
关于豆瓣网技术架构方面的更多报道请参考51CTO.com视频专题:《大型网站架构技术专家谈》
BeansDB特性一览:
◆高可用:通过多个可读写的用于备份实现高可用
◆最终一致性:通过哈希树实现快速完整数据同步(短时间内数据可能不一致)
◆容易扩展:可以在不中断服务的情况下进行容量扩展
◆高性能:异步IO和高性能的KeyValue数据TokyoCabinet
◆可配置的可用性和一致性:通过N,W,R进行配置
◆简单协议:Memcache兼容协议,大量可用客户端
客户端
目前只提供了Python版本的客户端,在python目录中,该目录中各文件的左右如下:
◆dbclient.py BeansDB的客户端,由memcached的客户端简单封装而成
◆status.py 查看BeansDB的状态,各个节点的数据分布,以及同步状态
◆sync.py 同步各节点
◆httpd.py HTTP方式访问BeansDB的内容(目前只有GET方式)
◆store.pyx, dbserver.py test.py setup.py
◆Python 版本的BeansDB,核心部分是C实现
BeansDB的一些性能测试
下面两幅图片是BeansDB在Google Code上性能测试截图,BeansDB的表现相当不错。
在小数据集上,它跟memcached一样快:
BeansDB实际部署情况下的性能(客户端测量):
【编辑推荐】