NoSQL那些事:51CTO带您走进列数据库

原创
数据库 其他数据库 新闻
列数据库算不算NoSQL,目前来看还是存在争议的。51CTO数据库频道认为还是要一分为二的看待,按列存储也含有一定的关系,因此严格意义上说列数据库有一些还是属于关系型数据库的。

【51CTO外电头条】列数据库出名可能是因为Google BigTable的出现,它表面上和关系数据库类似,但实际上却有着本质的不同,一个是按行存储数据(关系数据库),一个是按列存储数据(列数据库)的,你不能将适用于关系数据库的解决方案强加给列数据库,因为列数据库是没有关系的。51CTO数据库频道向您推荐《NoSQL:关系型数据库的终结者?》专题,以便于您更好的理解NoSQL。

搞清楚下面几个概念才能理解列数据库是如何工作的:

◆Column Family

◆Super Column

◆Column

列数据库中的Column和Super Column是不占位的,意味着如果它们里面没有值,它们只占用0字节,Column Family与传统数据库中的表类似,但和表又不一样,在Column Family中的唯一定义是名称和键(Key)排序选项(没有任何模式)。

我个人认为Column Family数据库(CFDB)可能是消除抽象设计的最佳方法,因为CFDB中的一切都是围绕真实的物理模型的。

◆Column Family – Column Family指定数据如何存储在磁盘上的,一个Column Family中的所有数据都将保存在相同的文件中,一个Column Family可以容纳多个Super Column或Column。

◆Super Column - Super Column是一个字典,它是一个包含其它列的列,但一个Super Column不能包含另一个Super Column。

◆Column -  Column是一个由名称,值和时间戳组成的三元组(我将忽略时间戳,把它当作一个Key/Value对看待)。

最重要的是要明白CFDB架构设计的外围重要性,如果架构都不正确,那基本上就无法获取数据,CFDB通常按照键或键范围提供一两种形式的查询,这是很有意义的,因为CDFB通常是分布式的,键决定了数据的真实物理位置,这是因为数据是基于Column Family的排序顺序存储的,你是没有办法改变排序方式的(除了选择升序和降序外)。

和关系数据库中的排序顺序不一样,列数据库的排序顺序不受列的值影响,只受列名的影响。

假设在Users Column Family,@ayende行中,我们将列“name”设为“Ayende Rahine”,列“location”设为“Israel”,CFDB将会象Users Column Family文件一样对它们进行排序:

  1. @ayende/location = “Israel”  
  2. @ayende/name = “Ayende Rahien” 

这是因为排序时“location”小于“name”的缘故,如果在Friends Column Family中有一个Super Column,用户“@ayende”有两个朋友,它们将会象Friends Column Family文件那样进行存储:

  1. @ayende/friends/arava= 945  
  2. @ayende/friends/rose = 14 

记住,这个属性对理解CFDB是如何工作的相当重要,我们以Twitter模型为例,我们需要存储:用户和推(tweet),我们定义了三个Column Family:

◆Users – 按UTF-8排序

◆Tweets – 按连续GUID排序

◆UsersTweets - Super Column Family,按连续GUID排序

我们创建一个用户(我使用name参数标志列名和值,key参数表示行的键,Column Family是Users):

  1. cfdb.Users.Insert(key: “@ayende”, name: “Ayende Rahine”, location: “Israel”, profession: “Wizard”); 

下图是一个可视化的表示,注意与关系数据库的区别。

保存用户信息的存储样式

图 1 保存用户信息的存储样式

现在我们创建一个推:

  1. var firstTweetKey = “Tweets/” + SequentialGuid.Create();  
  2. cfdb.Tweets.Insert(key: firstTweetKey, application: “TweekDeck”, text: “Err, is this on?”, private: true);  
  3. var secondTweetKey = “Tweets/” + SequentialGuid.Create();  
  4. cfdb.Tweets.Insert(key: secondTweetKey, app: “Twhirl”, version: “1.2”, 
  5. text: “Well, I guess this is my mandatory hello world”, publictrue); 

下面是它真实的存储格式:

保存推信息的存储样式

图 2 保存推信息的存储样式

这里有几件事需要注意:

◆在这里,Key不重要,重要的是它是连续的,因为后面会根据它进行排序;

◆两个行上面有不同的数据列;

◆我们实际上没有任何方法将用户和推关联起来。

在关系数据库中,我们通常会定义一个名叫UserId的列,这样我们可以通过它将推链接回用户,此外,关系允许我们按用户ID查询推,但CFDB没有这样的功能,无法根据列的值进行查询,也没有办法按照列进行查询,CFDB只能根据键查询,我们以UsersTweets Column Family为例进行说明:

  1. cfdb.UsersTweets.Insert(key: “@ayende”,  
  2. timeline: { SequentialGuid.Create(): firstTweetKey } );  
  3. cfdb.UsersTweets.Insert(key: “@ayende”,  
  4. timeline: { SequentialGuid.Create(): secondTweetKey } ); 

在CFDB上,它看起来象:

用户和推关联

图 3 用户和推关联

这里我们向UsersTweets Column Family插入数据,行的Key是“@ayende”,Super Column timeline有两列,每个列的名字是一个连续的GUID,这意味着我们可以根据它进行排序,实际上我们是用一个Super Column创建了一个行,它又包含两列,列名是一个GUID,每一列的值是Tweets表中一个行的键。

问题:我们可以在Users Column Family中创建一个Super Column存储关系吗?是的,可以这么做,但一个Column Family要么容纳Super Column,要么容纳Column,不能二者兼得。

为了获得某个用户发的推,我们需要执行:

  1. var tweetIds =   
  2.       cfdb.UsersTweets.Get(“@ayende”)  
  3.              .Fetch(“timeline”)  
  4.              .Take(25)  
  5.              .OrderByDescending()  
  6.             .Select(x=>x.Value);  
  7. var tweets = cfdb.Tweets.Get(tweetIds); 

从本质上来讲,我们执行了两个查询,一个是在UsersTweets Column Family执行的,用行键“@ayende”请求timeline Super Column中的列和值,然后在Tweets Column Family上执行另一个查询,获得真正的推。

因为数据是按照列名排序的,同时我们选择的是降序排序,我们获得了该用户的最后25个推。

如果我想展示最后25个推该怎么办?很简单,只需要查询Tweets Column Family中的推,然后按键倒序排序即可。

为什么CFDB有如此多的限制?

你可能已经注意到我多次提及RDBMS和CFDB的差异,我认为CFDB理解起来确实有点难,即使它表面上和关系数据库很接近,但它的限制却很多,没有连接,没有真正的查询功能(除了主键外),越是熟悉关系数据库,对理解CFDB越是有影响。

之所以有这么多的限制,主要原因是CFDB设计目标就是运行在多台机器上,存储大量信息的,在关系数据库中几乎是不可能存储这么多数据的,即使是象Oracle RAC这样的集群数据库也存储不了那么多数据。

CFDB不提供连接的原因是,连接需要你能扫描整个数据集,这个时候要么使用一个视图,否则就只有扫描整个数据库了,这会造成性能急剧下降,因此CFDB必须避免出现这种情况。

CFDB不提供按列或按值查询的原因是,因为这样要么需要一个索引,要么扫描整个数据集,CFDB将查询限制到只能按键进行查询,确保它能准确地知道查询应在哪个节点上运行,这意味着每个查询只会扫描一小段数据集,性能自然会好很多。

理解列数据库需要一种截然不同的思维方式,虽然我没有CFDB实战经验,我可以想像得到,使用它们迁移是个麻烦事,但它确实是获得高可扩展数据存储的最好方式。

到最后,51CTO数据库的编辑了解到,有些专业人士还是认为列数据库也不全是NoSQL。尽管有Sybase IQ这样的产品,但是列数据库当中还是有关系存在的。

作者简介

Oren Eini

Ayende Rahien只是网名,作者的真实名字叫做Oren Eini,他是一名经验丰富的开发人员/架构师,主要精力放在CLR,构建商业应用和开发生产力框架和工具上,他也是多个著名开源项目的积极成员,包括NHibernate,Castle等,另外,Oren Eini还创建了多个开源项目,如Rhino Mocks,NHibernate Query Analyzer,Rhino Commons等。

原文出处:ayende.com/Blog/archive/2010/05/14/that-no-sql-thing-Column-family-databases.aspx

【编辑推荐】

  1. 用NoSQL来替代MySQL在Digg中的原因
  2. MongoDB CEO谈NoSQL的大数据量处理能力
  3. 51CTO专访盖国强:NoSQL很火 但还需市场检验
  4. 详解NoSQL数据库使用实例
  5. 云计算时代NoSQL当道 关系数据库日薄西山

 

责任编辑:彭凡 来源: 51CTO
相关推荐

2011-08-23 10:12:45

IBM云计算

2015-05-28 20:46:06

2015-05-28 22:46:29

2012-06-27 13:22:52

2011-09-08 13:50:51

51cto 51CTO

2021-07-09 13:58:16

MySQL数据库运维

2017-03-30 14:10:16

51CTO 学院

2010-12-10 13:21:47

51CTO博客大赛

2011-05-10 11:23:13

Windows

2010-08-26 09:01:27

Infobright

2011-03-28 08:51:47

51CTO沙龙Windows运维

2010-04-06 12:26:16

51CTO清明节

2011-09-08 13:26:27

51cto 51CTO

2018-04-24 10:00:20

2010-04-02 22:02:19

盖国强NoSQL

2010-11-15 11:49:18

Oracle数据库的段

2021-12-08 09:16:00

社区编辑加盟指南

2011-06-01 16:35:50

51CTO投稿

2010-04-21 11:06:15

2010-01-19 11:21:20

51CTO驻站专家
点赞
收藏

51CTO技术栈公众号