【51CTO.com原创稿件】2017年12月01日-02日,由51CTO主办的WOTD全球软件开发技术峰会在深圳中州万豪酒店隆重举行。本次峰会以软件开发为主题,数十位专家级嘉宾将带来多场精彩的技术内容分享。
12月1日下午, Hortonworks高级技术成员HBase核心贡献者Ted Yu发表了题为《The New Hbase brings new era》(创新的Hbase***新纪元)的精彩演讲,会后51CTO记者采访了他,请他为大家分享了他的技术经验谈。
Hortonworks的核心成员TedYu接受采访
2011年,雅虎剥离Hadoop业务,由雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立Hortonworks。作为Hortonworks的核心成员之一,TedYu参加WOT技术峰会已经有七年的时间,一直在美国工作的他,始终坚持用英文准备演讲PPT,用他的话说,他始终相信中国技术人员的能力,他所讲的内容技术性强,涉及到很多技术词汇,输入中文担心翻译不准确产生歧义。所以他写英文再让大家去查它是什么意思,像是技术词汇,用在HBase或者其它别的地方一般不会有歧义。
谈到Hbase的核心,TedYu表示,HBase是基于谷歌的Hadoop,Hadoop的DataNode公布以后,在谷歌上有很多Bigtable的产品,HBase的核心它原来只是NameNode,在这个核心以上,又有不同的开发人员,搭建了Apache,或者是这些相关的项目。因为这个核心原来是不支持SQL查询的,有了这些别的项目以后,用户还可以用SQL进行查询,方便了很多。
谈及HBase的长处和短处的话,我们知道,HBase最早是Hadoop的一个子项目,后来才成为鼎力项目。也就是说如果在客户的集成里面已经有HBase的话,那么选择用HBase作为NoSQL的存储就是非常自然的选择。 反过来讲,比如一个用户用卡夫卡,卡夫卡根本就不用HBase,所以属于要用别的存储系统的话,HBase就可能稍微有点牵强。
TedYu还着重分析了Hbase的劣势以及解决办法,他说,如果HBase本身来讲,它不支持SQL,但是这样的话,对于大部分的应用来讲就非常不方便,因为比如SQR有很多复杂的查询,如果要靠用户用HBase底层的API去完成这些复杂操作的话,是非常耗时间的,而且首先是不易携带,因为SQL可以很方便就改了,一下就改掉了。如果用API的话就会影响开发进度。但是好处就是别的项目就弥补了HBase这方面的不足。
随着国内对Hbase的接受程度越来越高,TedYu感慨良多,他非常看好国内的大数据和人工智能技术发展前景。中国有广大的人口,有非常多样化的应用场景,它会产生大量的数据。在这方面我想产生数据的规模已经超出了美国,像雅虎这样的公司所处理的数据。他认为中国大数据应用有其独特性,会导致它在相关的方面有相当大的进展。
接下来谈及Hortonworks旗下重要产品HDP和HDF免费和开源的话题,TedYu解释说:“全开源符合中国的国情,大家知道,去IOE化已经提了很多年,我想IOE这三家的话,我没有详细关注,但我至少知道IBM的情况是不太好的,因为它除了上一个季度以外,好像很多个季度它的营业额都是下降的,这在大公司里是非常罕见的。这也是说明对于中国这么大的国家,有这么多大数据,而且有的是敏感数据,要自己存储自己管理,这样的话需要相当强的透明性,所以我觉得,这两个是完全开源的,从理念上来讲,符合中国政府要求的开放性和透明性。”
采访***,TedYu告诉我们,开源了以后,国内的开发者和用户可以对Hortonworks产品有更加深入的了解,这样一来,在这些项目里面,也会有所回馈,所以这应该是一个双赢的选择。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】