Hadoop目前只是“穷人的ETL”

云计算 Hadoop
根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实,作为大数据分析应用的代名词,Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析,而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

 [[73015]]

 

虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用,但是大多数企业距离这一目标还很远很远。

根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实,作为大数据分析应用的代名词,Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析,而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

穷人的ETL

 

Hadoop ETL

 

虽然被打上了“大数据分析工具”的标签,但在大多数企业眼里,Hadoop是“穷人的ETL”。目前确实有个别企业将Hadoop用于运行激动人心的分析工作,但这只是个案。Cloudera曾提出Hadoop的三大应用模式:Transform、Active Archive和Exploration,但是业内人士分析,目前至少有75%的部署Hadoop的企业还都只是停留在前两个模式中:将Hadoop作为廉价的ETL方案,或者用作垃圾数据填埋场(编者注:离线历史数据仓库,存储海量的价值较低的历史数据,例如淘宝光棍节的交易数据)。

Hadoop之路

Hadoop诞生已经7年了,但是Hadoop在企业中的应用还有很长的路要走。451研究所的分析师Matt Aslett在Hadoop峰会上的演讲指出,企业采用Hadoop需要经历三个发展阶段,从一开始用来存储海量数据,到对数据进行处理和转换,到最终开始分析这些数据。我们还处于Hadoop市场和技术生命周期的早期阶段,Rainstor的调查显示,即使是***级的Hadoop用户,也认为Hadoop***的挑战是时间(26%)和编程(25%)。根据Gartner的调查,目前只有6%的企业开始部署大数据项目,企业还需要更多成功案例指路,同时也需要更多时间消化相关技术。

原文链接:http://www.ctocio.com/ccnews/12345.html

责任编辑:王程程 来源: IT经理网
相关推荐

2014-03-14 10:15:41

软件定义网络SDN

2015-03-31 09:28:28

Hadoop大数据技术大数据未来道路

2011-10-20 20:56:42

UbuntuMac OS X

2020-08-10 16:20:06

XDR网络安全网络威胁

2017-09-28 17:20:17

荣之联DataZoohadoop

2023-06-09 07:18:03

开源数据库

2009-03-04 09:27:25

谷歌Twitter电子邮件

2023-01-26 23:46:15

2018-04-26 14:49:25

Hadoop数据基础架构

2020-06-08 12:47:08

ETLHadoopSpark

2022-10-21 18:31:21

ETL

2013-12-20 09:46:56

Hadoop大数据数据处理

2022-07-11 09:00:00

数据集成云计算ELT

2024-09-06 10:25:32

人工智能ETL微服务

2019-10-22 11:42:29

sshuttle虚拟专网Linux

2017-06-12 15:22:03

频谱千兆无线Wi-Fi

2012-04-25 09:43:43

jQuery插件

2019-07-17 22:07:14

前端开发框架

2018-06-04 16:35:22

python编程语言人工智能

2009-01-20 14:47:19

ETL数据集成技术研究
点赞
收藏

51CTO技术栈公众号