目前我们正处于二十一世纪第二个十年的中间阶段。在关于大数据的狂热炒作于五年前刚刚兴起之时,人们达成了Hadoop将在未来成为普及性方案的广泛共识。然而随着其后Hadoop市场的不断发展,事实证明了这种预期恐怕并不准确。从Hadoop市场的应用及创新层面来看,这种铺天盖地的宣传已经在一定程度上逐渐沉寂了下来。
鉴于大家对于Hadoop的重要性保持着高度的认同感,我们是否有必要在大数据业界继续不断擂动Hadoop将成为“下一波浪潮”这面战鼓?Hadoop是否早已迈过了其历史性发展拐点——其成熟速度又是否有些过快?当某种业务领域在各个方面体现出成熟的迹象之后,市场的发展态势也将很快趋于平衡。而Hadoop的“下一波浪潮”恐怕也将止步于目前的水平,这意味着其在大数据分析市场上的份额将陷入停滞(与此同时,整体市场规模还将继续保持发展)。
要确认Hadoop是否已经达到了这一拐点,我们需要首先回顾其过往发展历程及其未来可能迎来怎样的演变前景。
创业性活动是验证市场是否处于增长态势的一项明确指标,而这一指标的衰退则是一种强烈的信号、昭示相关市场已然步入成熟。在本个十年的早期阶段,一场规模可观的创业风暴席卷而来,但从目前的情况看Hadoop平台、工具以及应用程序供应商都已经在市场上找到了较为稳定的定位。举例来说,根据InformationWeek新近发布的市场调查报告中,每一家供应商都已经在市场上运作了三到四年时间——那时我本人还是位年轻的Forrester Hadoop分析师。而这正是市场趋于成熟的显著标志之一。
Hadoop趋于成熟的另一种表现在于,主要需求推动力因素已经不再随时间推移而持续变化,这也意味着其利基指向一直针对同样的客户需求。不出所料,这篇调查报告中再次喋喋不休地通过调查数字证明了用户主要利用Hadoop进行非结构化数据分析、客户预测分析以及情感分析等工作。与我在2011年对尚处于起步阶段的Hadoop市场作出的研究结果相比较,目前的情况似乎没有出现任何不同之处。
技术类别趋于成熟的另一大主要迹象在于,相关行业在多年当中始终不断重复同样的发展方向,例如通过一套解决方案带来***价值吸引力的功能增长点。举例来说,大数据博客仍然在以令人大类的争论探讨一个实际上已经得到解答的问题:SQL在Hadoop生态系统当中是否仍能继续存在下去。回答毫无疑问会是肯定的,因为调查报告所罗列的各家供应商针对SQL访问/分析选项所给出的替代方案已经充分证明了这一点。
与“不断重复同样的陈旧主题”类似,Hadoop技术目前的市场定位仍然显得比较模糊。正如我在去年四月的Dataversity专栏中所指出,Hadoop技术仍然不具备明确的界限(相较于NoSQL以及其它大数据方案),而这一点我在三年前供职于Forrester公司时就已经多次提到过了。时至今日,Hadoop业界的“身份危机”在很大程度上源自其仍然缺乏一套通行标准,而且始终无法给出一套Hadoop即将且能够实现的明确而统一的发展前景。
如果大家认真审视目前Apache软件基金会给Hadoop作出的定义,就会发现该项目仍然属于一种包罗万象而非指向明确的架构概念。举例来说,最近加入到Hadoop当中的Spark看起来仍然太过随意、而且其中仍然存在着与Cassandra的千丝万缕的联系。业界中还没有人真正将Spark作为Hadoop的竞争对手而非组成部分。相比之下,Cassandra仍然算不上一套最热门的开源、实时、大数据社区,而其持续增长的势头似乎也已经开始显著衰退。
与此同时,当关于某种技术体系的讨论越来越多地集中到其在主流用户当中微不足道的占有比例时,这就代表着其目标市场已经很难跨越式打开局面。而这也正是这份调查报告所提出的研究结论及主体思路:
InformationWeek的数据表明,目前列车尚没有真正驶离车站:只有4%的企业客户广泛采用Hadoop项目,而18%的企业客户指出仅在有限的范围内采用Hadoop项目……这两项结果高于去年调查报告所显示的3%已经使用与12%局面采用的比例。另有20%企业客户有计划使用Hadoop技术,不过仍有58%的受访企业表示尚未考虑过将Hadoop引入业务环境。
如果大家在分析业界拥有几年的从业经历,就会发现这样的状况很有些似曾相识的意味。二十多年之前,商务智能市场曾经作为独立业务拥有自己的一片天地,但其在主流知识型员工中的采纳比例却一直表现低迷。也许商务智能——或者Hadoop乃至其它大数据技术项目——都注定无法像智能手机那样被市场所广泛接受。
但这并不意味着Hadoop无法在其充分定义的利基领域之内发展成一大影响可观且规模甚巨的业务类型。毕竟只要时间充裕,即使步入了中年、Hadoop也仍然能够在满头白发之前赢取自己应得的财富与名望。
原文标题:Hadoop is probably as mature as it's going to get