大数据需要高效的存储平台—“4V”金字塔彰显大数据价值

网络
2013年,中国金融界热议最多的或许是互联网金融。确实,第三方支付、P2P、网贷、众筹融资、余额宝、微信支付等发展迅速。互联网金融如火如荼所依靠的不仅是简单的“通道”,背后隐藏的是大数据时代的鲜明特征:数据的积累和挖掘分析。

由业务驱动的金融大数据

为什么在官方的健康组织还没有发布健康趋势之前,Google就能利用它的搜索引擎准确地预测流行病的爆发? 大数据给我们所有人上了一课,也让我们更加坚信,数据本身是有价值的,关键看你如何处理、分析和使用它。

2013年,中国金融界热议最多的或许是互联网金融。确实,第三方支付、P2P、网贷、众筹融资、余额宝、微信支付等发展迅速。互联网金融如火如荼所依靠的不仅是简单的“通道”,背后隐藏的是大数据时代的鲜明特征:数据的积累和挖掘分析。

如阿里金融,通过数据化的平台开展征信操作,将商户的信贷风险控制在较低的程度,从而能够实现日均100万左右的利息收入;如淘宝运费险“秘密”,根据统计,淘宝用户运费险索赔率在50%以上,也就是说,10个淘宝用户购买运费险,5个以上将会退换货,保险公司需要赔付,仅从保险产品设计的角度,这个产品并不是很成功,该产品仅能带来5%的利润,但是保险公司仍然坚持在做,并且不断有新的保险公司向淘宝“加盟”,其秘密在于,客户购买运费险后保险公司就可以获得该客户的个人基本信息,包括手机号和银行账户信息等,并能够了解该客户购买的产品信息,从而实现其他保险产品的精准推送,保险公司看中的正是5%利润背后更大的数据价值,假设该客户购买并退货的是婴儿奶粉,那么保险公司就可以估计该客户家里有小孩,可以向其推荐关于儿童疾病险、教育险等相关产品,这比5%的利润更有吸引力。这一思路可以继续延伸到金融产品销售、VIP客户挖掘、消费贷款等领域。

不光是互联网企业看到了大数据背后的价值,传统银行也在加速对大数据平台的建设。例如工商银行、建设银行、招商银行、民生银行等都在自建电商平台或已经完成其平台建设,部份银行正在跟京东、苏宁等大型电商平台联手,“躺着赚钱”的传统银行为何要进入这个微利甚至完全是“烧钱”的领域,其背后都是希望通过掌握大数据,来提升银行传统业务的利润。

在企业内部,大数据可以为企业提供更科学的决策依据;在企业外部, 大数据还是收集客户信息,建立360°客户视图,让企业实现精准化营销的工具。从表面看,大数据带来的是一种技术上的变革,它有效地提高了企业和社会的生产力,而在这种技术变革的背后是业务需求使然,是人们对提高效率的不断追求在推动这种变革的发生。

纵向打穿“4V”

在大数据分析工具出现前,商业智能、数据挖掘已经进行了多年,为什么数据的价值没有得到企业充分的重视呢?以前的数据挖掘是对抽样数据进行分析,而且数据分析是离线的,数据的价值没能得到全面、实时的展现。

那么构建一个可用的大数据系统,应该从何处入手呢?

华为抛出了金字塔型“4V”理论,展现了从Volume到Velocity 再到Variety,最终到Value的层次化的递进式的创造大数据价值的方法论。

第一步,企业需要建立一个能够高效处理海量数据的存储架构平台,它既能处理大量的小文件,也能处理单体较大的文件。

第二步,这个存储架构平台要具备极高的处理性能,因为大数据对实时处理的要求非常高。

第三步,这个存储架构平台要能处理多样化的数据,包括结构化数据和非结构化数据。

只有通过前面三步打下的基础,企业用户才能进入最后一步,在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘,并最终获得所需的价值。

大数据价值的实现过程是一个递进的逐层深入的过程,但是建立高效的存储架构平台是前提,它是大数据落地的基础。

大数据存储平台是大数据分析的前提

现在人们一谈到大数据,首先会想到Hadoop。其实,Hadoop只是大数据基础架构与上层应用分析之间的一个桥梁,而不是大数据的全部。在广电等很多领域, 大数据处理并不一定要用到Hadoop。现在,使用Hadoop 更多的是一些互联网企业。然而除了互联网大数据以外,行业大数据同样重要,甚至价值密度更高。因此,将Hadoop与大数据划等号,这是一个认识上的误区。业内一位大数据专家指出,大数据不是一个分析工具,而是新的基础架构。

华为认为,大数据分析的一个重要前提是,必须先建立一个高效的大数据存储平台。那么,高效又是如何来衡量的呢?

高效的第一个衡量指标是就是性能。性能是大数据存储平台的基石之一。比如,中央电视台每晚7:30要准时播出天气预报,如果气象分析要经过24小时才能得到最后的结果,就会错过天气预报播出的时间,即使得到的预测结果再准确也是无用的结果。不仅是在大数据方面, 在整个IT领域,企业用户对性能的追求都是无止境的, 只不过大数据对实时处理的要求非常高,所以高性能对于大数据来说显得尤为重要。

其次,大数据强调的是简化使用,提高效率。如果不具备专业技能和人员,Hadoop的实施将非常困难。简化大数据的使用,其核心是在同一个平台之上针对数据的全生命周期进行管理,尽量避免异构环境下的数据迁移、数据丢失带来的风险等问题。

最后,高效的大数据存储平台应该采用融合的技术架构,即在同一个系统内,实现存储、备份、归档和分析的所有功能,完成对数据的管理,并提供开放的分析接口,与BI软件和应用软件更好的连接,进一步提高查询效率。

此外,在这样一个一体化的结构之上,用户还可以根据业务的情况灵活添加相关的功能模块。而华为大数据存储平台就具备了上述功能。

大数据带来的改变从基础架构层面一直延伸至业务层面。企业的管理者应该意识到,业务的创新需要底层创新的架构来支撑。从业务的角度看,企业的核心诉求是简化应用,实现可持续发展,提高业务的效率,而这些业务目标的实现必须建立在一个合理的、高效的架构之上,只有这样才能更好地发挥IT的作用,获得更大的数据价值。

责任编辑:蓝雨泪 来源: 51CTO.com
相关推荐

2011-08-08 10:36:24

大数据

2016-01-14 09:41:20

云应用大数据4V

2020-04-27 13:45:08

数据流沙Filecoin

2011-08-11 14:04:17

大数据

2017-07-13 11:13:18

大数据数据存储

2018-10-11 15:05:56

测试软件自动化

2022-12-13 15:41:41

测试软件开发

2015-06-29 13:38:31

大数据大价值

2018-01-26 08:54:29

存储SSDHDD

2021-01-25 06:37:06

Css前端CSS 特效

2015-12-21 15:28:38

曙光

2020-12-04 08:34:08

数据分析 数据处理 效率

2017-04-12 13:57:46

大数据智能物体

2018-03-28 17:16:09

大数据

2022-12-29 16:09:25

2013-09-12 14:28:44

大数据存储

2013-09-29 10:16:39

大数据京东人人

2023-08-27 15:25:49

2020-04-08 08:00:00

开发者金字塔模型

2017-11-28 17:41:39

大数据
点赞
收藏

51CTO技术栈公众号