华为首创图计算HIMM模型 开启图数据高效处理

网络
华为今日宣布,中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升,这对于大数据处理的实时性具有重要意义。

华为今日宣布,中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升,这对于大数据处理的实时性具有重要意义。

Hadoop中国技术峰会于2013年11月23日在北京圆满落幕。作为本年度大中华地区规模最大的Hadoop技术峰会,本届大会的主题是“掘金大数据”。 华为香农实验室的首席研究员颜友亮发表了“HiGraph:一种面向图计算的领域编程语言”的演讲,介绍了华为香农实验室在图计算以及Spark(Berkeley AMP Lab开发的一种基于内存计算的并行计算框架)上所取得的研究成果。

“大数据时代的一个重要方面就是图的规模越来越大。”颜友亮说,“Facebook人际关系网,包含顶点数目超过10亿。其他网络的规模也在数千万顶点左右。这使得这些图上的大量应用,例如好友推荐、寻找最短路径等无法准实时地得到结果。”

华为香农实验室提出业界首创的HIMM模型,与传统图计算模型相比,具有操作更简单,接口更实用,编程更轻松等优点。算法开发者使用了HIMM模型,不仅可以用矩阵的方式来表达图结构,而且还可以用自定义的矩阵运算来表达图上的各种操作,并通过提供一整套图计算算子来实现高效的并行图算法。在底层框架上,基于HIMM的图计算框架HiGraph会根据不同的硬件环境实现有针对性的一些优化措施,使得HiGraph的性能相比于业界获得显著提升。通过测试Pagerank和单源最短路径的算法,结果显示:在集群环境模式下,HiGraph借助Spark在迭代计算上的优势,相比其他的解决方案如Bagel和Giraph,HiGraph的性能提高3倍到20倍;在单机环境模式下,HiGraph充分利用了多核的并行处理能力,实现最大化的并行加速设计,使得在业界开源方案的性能上获得了至少10倍的提升。

“我们的HiGraph性能比业界高出了一个数量级,能够在秒级完成PageRank、单源最短路径等算法,完全能够胜任大数据处理实时性的要求。”颜友亮说道。

HIMM模型与HiGraph框架对于完善香农实验室在高性能计算研究的布局具有重要意义。华为香农实验室也将继续在图计算领域和Spark框架上发力,并进一步完善HiGraph,为华为的大数据研究提供了坚实基础,助力华为更好地进驻大数据领域。

责任编辑:林琳 来源: 51CTO.com
相关推荐

2023-09-07 20:33:08

2011-12-30 15:47:17

云计算华为

2010-07-05 09:01:29

UML静态模型图

2014-07-28 15:11:53

浪潮GPU加速

2015-05-12 15:38:20

ICT华为ICT

2010-11-22 09:08:38

2022-08-15 19:24:35

图数据库图计算搜索

2017-12-13 10:08:26

大数据图数据推理数据科学

2013-04-08 09:44:32

2010-07-16 10:32:21

云计算

2013-03-28 09:55:17

2010-07-12 08:53:32

UML模型图

2010-07-05 09:19:35

UML动态模型图

2018-12-27 13:58:24

智能计算华为首届智能计算大会

2009-11-17 10:07:18

IBMPureScalePower

2009-11-13 15:33:58

ADO.NET数据对象

2024-10-24 16:54:59

数据预处理机器学习

2022-12-28 16:15:33

计算机

2010-09-02 09:05:58

点赞
收藏

51CTO技术栈公众号