2018年11月30日,由数据中心联盟组织(Data Center Alliance,以下简称“DCA”)实施的第七批大数据产品评测结果评审会圆满结束,共计28家企业的46款/次产品通过了本次测试评审。截止到目前为止,通过DCA大数据产品能力评测的产品数量累计达到134款/次,涵盖了分布式批处理平台、分布式分析型数据库、分布式事务数据库、时序数据库、用户行为分析解决方案、数据挖掘工具、数据集成工具、数据管理平台,以及商务智能(BI)分析工具。
中国信通院云计算与大数据研究所主任魏凯
作为本次评测项目的主要负责人之一,中国信通院云计算与大数据研究所主任魏凯在接受笔者采访时表示,经过4年的发展,“DCA大数据产品能力评测”已经成为国内外***权威的评测体系,成为厂商产品研发和用户采购选型的风向标。他表示,通过“DCA大数据产品能力评测”建立一套行业准则,让企业知道如何做,让用户知道怎么选。同时,促进大数据厂商之间的技术交流,提高中国大数据行业的整体技术水平。
建立大数据产品技术标准,为数据强国提供基础支撑
当前,数据已经成为推动企业创新,加速企业发展的核心推动力。随着企业数据化转型的进一步加速,数据量呈现出爆炸式增长的态势,如何利用先进的技术,完成数据的获取、筛选、分析、存储,管好用好数据,发挥数据价值,成为摆在企业面前的主要难题。
魏凯主任告诉记者,五年之前国外的一些企业就已经开始着手大数据技术的研究,谷歌还提出了数据管理的三大技术,但是当时国内没有一家大数据的技术公司。2015年,国家正式提出了《促进大数据发展行动纲要》,其中有一条非常重要的内容就是要推动扶持、支持国内企业研发数据管理技术和产品,把大数据能力补上来。
那么,大数据技术需要具备哪些能力呢?魏凯主任表示,大数据技术必须要有一套行业的标准,让企业知道如何去做,让用户知道怎么样去选,只有建立一套标准的产品说明书,才能让企业与客户之间流畅的沟通和采购,减少摩擦。而信通院扮演的角色,就是建立一套大数据产品技术标准,解决企业与用户之间“采”与“销”的难题。
据魏主任介绍,“DCA大数据产品评测”主要有三层意义:
一是建立一个技术交流平台,通过测试将国内大数据厂商聚集到一起,促进他们之间的交流与沟通,提高国内大数据整体的技术水平。
二是建立一个标准的产品,形成大数据行业的统一认知。标准不是规定厂商必须怎样做、而是把权利交给客户,让大数据厂商必须告诉客户是怎么做的,并监督验证是不是按照标准去做,给产品提供足够的创新空间。
三是打通“采销”通道,让甲乙双方根据实际需求选择适合自己业务的产品。
魏主任表示,在 “DCA大数据产品评测”过程中,通过各方相互研讨,相互交流经验,讨论如何调优、如何把性能做到***等,并通过动手实践、经验分享的形式,提高大数据行业的整体水平。
据了解,本届大数据产品评测吸引了众多企业的参与,除了大数据技术标准委员会中120家会员之外,还吸引了很多非会员类企业的参与,其中即包括银行、政府、央企等对甲方客户,还包括专注于大数据产品的垂直企业。
以场景应用为重点,助力大数据应用落地
任何一个单一的产品和技术都不可能满足所有客户应用场景需求,大数据产品也不例外。虽然Hadoop已经在很多企业大规模应用了,但在一些细分场景下仍然不够优秀,One size does not fit all。因此大数据技术产品发展的一个趋势是逐步细分。魏主任告诉笔者,与往年相比,今年参与大数据产品评测的产品类型越来越丰富,针对不同场景应用的大数据产品越来越细分。
据魏主任介绍,今年的评测新增加了商务智能和数据挖掘这两个平台,一个是做报表的,另一个是做机器学习建模的,特别贴近客户应用层,稍微进行简单的培训,就能上手。魏主任表示,Hadoop要用Java写MapReduce程序,可是很多企业根本没有IT人员,怎么编程序?这就大大增加了企业的使用门槛。如果将一个图形化的大数据软件交付给用户,只需要拖拖拽拽的操作即能够实现大数据能力,那么企业就可以将更多的精力用到产品的技术研发上,从而减少运营实施的压力。笔者观察发现,今年参评的大数据的产品大都提供了可视化的管理界面,例如国双参测的5款大数据产品,全部提供可视化的管理平台,大大减少了用户的使用成本。
除了新增加的两个平台之外,今年数据规模也变得越来越大。据了解,今年的大数据产品评测不但测试了管理上万台机器的能力,而且数据量***也达到了100TB,已经达到了世界***的水平。以国双并行数据仓库系统 (Gridsum ZETA PDW)为例,这个唯一一个通过分布式分析型数据库性能评测的产品,在Hadoop性能测试中,TB级数据量下部分SQL执行时间可低于10秒钟,海量数据检索速度也比较领先,为此夺得了SQL性能测试***名。
魏主任表示,越来越丰富的产品类型和规模越来越大的数据量,充分验证了国内企业在大数据技术上的实力,同时,也很好的考验了企业技术团队的协作配合能力,这足以证明了在大数据软件方面,国内的企业已经达到世界先进水平,而通过紧贴行业需求的大数据能力测试,很好的推动了大数据技术的发展,为大数据在各行各业、各种场景中应用落地,奠定了坚实的基础。
强化数据资产管理,发挥数据核心价值
上周,由中国信息通信研究院、中国通信标准化协会主办的“2018数据资产管理大会”在京召开。会上,主办方为国双等通过第七批大数据产品评测的企业和产品颁发了评测证书,并围绕数据资产管理这一话题,进行了深入的交流与讨论。
之所以叫做“数据资产管理大会,”它不再仅是大数据技术的一次峰会,不仅仅包含数据存储、计算、分析等技术层面的讨论,更是将数据管理纳入之中,就企业如何管好用好数据资产,如何提高数据质量,如何提升数据安全等多方面多维度展开讨论。
谈及数据资产的管理,魏主任表示,虽然技术产品非常重要,但数据资产的管理同样重要。如何做好数据资产的管理,让数据真正为我所用,并不断提高数据的质量和安全,这是每一家希望迈向数据驱动的企业的必修课,也是一个长期的过程。他强调,随着数据量的不断增长,数据规模越来越大,管理难度不断提高,因此数据管理必须建立一个制度,形成一套规范,只有这样才能够让企业真正掌握数据,发挥数据的***价值。
除了数据资产的管理,数据的流通也是本次大会讨论的一个重要主题。因为只有让数据流动起来,才能产生价值。但是,由于数据的敏感性,流动的风险特别大,阻力也非常大,特别是数据在跨企业之间的流通,到目前为止仍然没有一个标准和规则。魏主任告诉笔者,中国信息通信研究院正在与各种组织着手研究数据流动的问题,正在组织相关机构一起制定一套“可信数据服务”规范,让数据在法律规范之下有序流动起来,真正的发挥数据的价值。
“数据管理是一个非常复杂的过程,不可能一筹而就。下一步,中国信息通信研究院作为标准制定和评测的牵头单位,以中国通信标准化协会为平台,与学术界、产业界和领域用户紧密合作,不断完善大数据产品技术标准评测基准,推动我国大数据产品技术水平不断提升,为数据强国提供强有力的基础支撑。魏主任如是说。