华为大数据平台:重塑企业数据处理新时代

企业动态

2016年是大数据发展历程中相当振奋的一年,大数据背后的价值已经获得业界的认可,众人对大数据的追捧开始更趋于理性。海量数据如何整合,如何分析加以利用,如何驱动商业这一连串的追问,将大数据的应用也推向新一轮的高潮。

多个维度划分大数据

华为认为按照不同的维度可以将大数据做不同的划分。为了更加全面地认识大数据,可从三个维度来准确定位大数据。

从业务创新角度看,往往是以业务问题为出发点围绕着商业理解、数据科学和技术实践形成一个系统性的数据价值发现体系。目前主要是从数据获取、数据存查、客户洞察、客户标签、实时消费这几个环节来切入,整体支撑业务创新。

从大数据的发展方向来看,随着数据量的增加,以及访问并发量的增加,未来大数据平台将是一个端到端的分布式的架构,从底层大数据的平台到中间数据的服务层,甚至应用层,都将呈现出一个全分布式的大数据平台。

而从技术演进的角度看,又可以暂将大数据分为三个阶段。

2007年到2012年,大数据以Hadoop原生技术为主,主要是以HDFS作为分布式的存储,MapReduce作为并行计算框架,做一些分布式的任务。HBase作为NoSQL数据库去做单一的大批量的大负载的计算能力。

2013年到2016年,可看作是大数据2.0时代。Hadoop2.0将计算层和资源管理层做了分离。MapReduce分成两部分,一部分是专注于计算的MapReduce,另外一部分专注于集成管理的YARN。其中YARN形成了一个统一的资源管理,便于大数据平台内部的统一资源调配。此外像流处理的这种技术也在不断地完善。

2018年到2020年,有专家预测将出现企业级的数据智能平台。企业级大数据平台将具备开发生态、行业优化、易运维、安全可靠,以及内核演进内核维护等特征。届时业界更需要的将是能够创建新的社区顶级项目,并且获得生态认可的大数据厂商。那些只基于Hadoop开发应用的大数据团队,市场空间将遭遇发展瓶颈。

多行业加速大数据应用

大数据究竟可以为企业级用户带来什么价值?最重要的是五点:“一是技术高效、低成本,二是增强管理水平,三是提升业务效率,四是提升客户体验,五是创新商业模式。“未来各行各业都会产生大量数据,让数据产生价值,让使用数据的人有更优质的体验感受,让数据能够变现,是现在企业用户如此热衷大数据的主要因素。

我们知道,政府也在积极推动大数据的应用,在智慧城市、城市的精细化管理、医疗、教育、交通、社会安全、工业等多个领域探讨大数据的应用。而目前已经走在大数据应用前列的金融行业,从2016年到2020年这五年期间,数据治理与数据服务成为了银行业对大数据应用的非常重要的两个方向。例如实时征信、风险审计、内部管理、精准推荐、历史数据管理、小微贷、客户预测、客户流失分析等多个应用都需要大数据技术来支撑。

华为大数据发展之路

大数据是华为四个战略方向之一,华为在美国研究所、欧洲研究所布局100多高端大数据专业人才,进行未来3到5年的大数据技术研究,确保华为大数据产品的长期的技术竞争力。

华为在2007年开始研究大数据,2013年发布了FusionlnsightHD版本,FusionInsight是华为面向众多行业客户推出的,基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的统一平台,可以让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现全新价值点和企业商机。

华为大数据的产品是一个全站式的大数据产品,它从大数据的平台FusionlnsightHD到数据的集成平台Porter,再到数据的分析挖掘数据建模的平台Miner,到数据服务平台FarmerRTD,具备全流程的全分布式的能力。它集成了业界各种标准组件,如分布式文件系统YARN、MapReduce、Spark等等,还包括Redis、SOLER、Strom这样在企业级很少集成的组件,甚至华为独创的自研组件也在其中。“未来华为大数据平台将能够实现各种应用,包括对跑批的应用、对流式处理的应用、对实时查询的应用、对机器学习的应用等等,都可以在统一平台上去实现。”

除此之外,企业级的大数据平台还应该具备高可靠性、高性能、应用性、高安全这些能力。华为在此基础上还提供了可视化的数据集成能力、HDFS的二级索引能力,毫秒级的流处理平台能力,慢盘检测、多租户的解决方案等等,真正做到了基于业务、开发兼容、敏捷可信。

事实证明,FusionInsight的推出恰当时,截止2016年上半年华为大数据产品已经成功应用于各个行业、客户遍布全球20多个国家,实施案例超过600个。在中国金融大数据领域,市场占有率超过60%。

华为也一直致力于推动大数据社区的发展,社区贡献率稳居前列。FusionInsight是国内唯一的与大数据社区长期同步研究的大数据平台产品。2016年华为创建了顶级的社区项目Apache CarboonData,还发布了实时反欺诈的平台FarmerRTD。2017年初华为还将发布基于社区最新的Hadoop3.0和Spark 2.0的大数据产品。华为已经成为大数据社区的引领者,位居全球大数据研究的第一阵营。

 

责任编辑:润月 来源: 51CTO
相关推荐

2017-07-21 14:22:17

大数据大数据平台数据处理

2014-05-28 13:50:17

微软

2012-05-18 10:49:36

SAP大数据HANA

2020-11-02 15:56:04

大数据数据库技术

2018-12-07 14:50:35

大数据数据采集数据库

2017-02-27 11:20:31

大数据DevOps迁移

2021-07-20 15:37:37

数据开发大数据Spark

2023-08-25 15:13:16

大数据云计算

2013-05-08 19:44:58

Informatica虚拟数据机大数据

2013-10-15 09:52:48

大数据

2014-04-08 10:17:10

大数据华为

2020-07-22 08:13:22

大数据

2022-11-17 11:52:35

pandasPySpark大数据

2012-02-27 09:39:11

数据中心大数据

2023-11-29 13:56:00

数据技巧

2022-09-23 14:16:29

PingCAPTiDB分布式数据库

2019-11-06 10:43:20

HBaseSpark数据处理平台

2015-10-22 19:00:43

明略数据

2013-10-28 15:35:24

大数据时代整合营销

2015-09-01 13:52:12

七牛数据处理DORA
点赞
收藏

51CTO技术栈公众号