近年来,大数据分析已成为数字业务的核心,这是将数据转化为推动差异化运营和客户体验的业务价值基础。
尽管大数据分析(BDA)已经成为董事会会议讨论的话题,但讨论往往最终归结到一个难题:"为什么我们不能产生预期的回报?"
科技行业终于在回答这个问题上取得了进展。全堆栈BDA架构上的用户融合,是解决数字业务成功的关键。然而,单靠技术不足以推动分析应用,除非组织加速数字化转型,转型到能够利用BDA颠覆性潜力的结构和流程。
同样,组织也需要通过投资于人员、角色、技能、卓越组织中心、数据驱动的文化等支柱,来加强对数字劳动力的赋权。至少,越来越多的业务分析师和其他知识工作者将需要在机器学习、深度学习和人工智能计划中发挥更多的作用,推动颠覆性商业应用。
2017年全球BDA市场与2016年相比增长了24.5%,高于分析机构Wikibon在去年报告中的预测,这主要是由于公有云的部署和采用高于预期,以及在融合工具方面取得的进展。企业正在从试验和概念验证阶段,更快地转移到通过大数据部署实现更高的业务价值。
展望未来,整个BDA市场的年复合增长率将达到11%,到2027年达到1030亿美元(下图)。边缘计算--包括智能设备上的流媒体和及其职能应用部署--将在未来几年推动市场发展。
趋势概述
展望未来,以下数字业务趋势将加速整个堆栈上下的解决方案融合,包括:
- 实现战略成果。客户将通过融合战略BDA解决方案提供商来确保战略业务成果,这些提供商提供的预置应用中包含了最佳实践,可根据其独特需求快速定制。
- 减少延迟。客户将通过整合包含更少离散BDA产品的内部管道,越来越多地消除数据、应用、业务基础设施中的延迟和瓶颈。
- 简化流程。客户将通过融合更少、更简单、更一致和更自动化的BDA开发和运营流程,来降低复杂性,这些流程覆盖了不同的管道、平台、任务和角色。
- 加强控制和保障措施。客户将通过融合统一治理工具来加强监督和合规性,这些统一治理工具在BDA堆栈上、不同管道、平台和任务中实施安全、策略和其他防护。
根据Wikibon对这个年度BDA市场研究的更新,与去年保持不变的挑战包括:
- 复杂度过高。BDA环境和应用仍然过于复杂,需要进行简化才能被主流用户和开发人员掌握,许多人缺乏具备必要专业技能的内部IT人员。
- 繁琐的开销。对许多IT专业人员来说,BDA管理和治理流程仍然过于孤立,成本高昂,效率低下。
- 延长管道。BDA应用开发、培训和部署流程仍然过于耗时,需要手动且不一致,需要自动化、加速和最大程度的精简。
- 定制应用。BDA专业服务对于开发、部署和管理跨越混合云的许多定制应用来说至关重要,这涉及不同的平台和工具,以及合并难以处理的复杂数据流程。
Wikibon最新的BDA市场研究还发现,有几个趋势正在推动行业的竞争格局,其中包括:
公有云提供商正在扩大其在BDA市场的影响力。到2020年,BDA行业将围绕三大主要公有云提供商--最有可能的是AWS、微软Azure和Google Cloud Platform--并且大多数独立软件开发商将构建可在所有这些平台上运行的解决方案。这些厂商和其他BDA公有云提供商(包括IBM和Oracle等老牌BDA供应商)提供受管理的IaaS和PaaS数据湖,鼓励客户和合作伙伴开发新的应用中,并将旧应用迁移到新应用中。因此,纯粹的数据平台/NoSQL厂商似乎表现平平,在被多元化的公有云提供商厂商占主导地位的BDA领域陷入边缘化。同样,旧业务分析厂商正在失去动力,随着市场向多元化BDA的基于云的解决方案迁移以实现这些功能,这些厂商正在走下坡路。
针对BDA公有云相比对私有云的优势在继续扩大。到2021年,公有云将成为每个客户群体(包括大型企业)的首选BDA方法。这是因为BDA公有云解决方案比内部部署堆栈的成熟速度更快,功能更丰富,拥有成本更具有竞争力。与本地部署的替代方案不同,公有云提供商可以提供例如Google Spanner、Microsoft Cosmos DB和AWS DynamoDB等BDA数据库,这些数据库提供全局一致性和可用性,这归功于连接其数据中心的专有光纤网络。
混合云正在成为企业BDA在公有云实现完整部署的一个"停靠点"。到2022年,混合云将被纳入大多数大型企业的计划中,但主要是作为一项临时策略。这个平衡会逐渐向那些将更多BDA资产投入公有云的企业,从而提高混合公有/私有BDA云作为过渡架构的重要性。传统BDA厂商正在为混合云使用场景开发他们的产品,为传统工作负载打造新的选择。同样地,更多传统的、基于本地的BDA平台正在重新架构,主要部署在公有云中。
一些具有创新力的BDA初创公司正在将越来越精密的、面向云的解决方案推向市场。到2024年,主流BDA应用提供商将通过令人惊叹的、基于AI的解决方案颠覆竞争格局。来自市场新星的威胁正在加速每个BDA细分市场的发展,其中大部分创新都是为公有云或混合云部署而设计的。过去几年,有很多新兴的分析和应用数据库、流处理和数据科学初创公司进入BDA领域,其中许多厂商提供的解决方案都集成了复杂的机器学习/人工智能,并被打包以解决颠覆性业务应用。
颠覆性BDA方法正在成为可行的替代平台。到2025年,新一代的"独角兽"BDA解决方案提供商,将凭借前所未有的灵活性和复杂性的新技术方法脱颖而出,这些方法可能是基于物联网、区块链和流计算的某种混合。BDA市场中,替代产品和服务的威胁来自于那些与现有厂商竞争的新初创公司,而且还有那些通过引入源源不断的创新解决方案、以新方式新技术方法处理现有的和新兴业务需求的公司。
数据库正在被解构,并重新组合成解决新需求的新方法。从架构的角度来看,到2028年,在这个流媒体、内存中、无服务器基础设施占统治地位的世界,我们以前所了解的那些数据库将成为古老的历史。通过重新思考传统数据库架构来解决新的分析用例,BDA市场实现不断的发展。
BDA打包的应用程序更加广泛可用。到2030年,所有客户--从大型企业到母婴店--都将采用BDA解决方案,作为预构建、预训练的模板化云产品,不断自动调整和自我调优,以实现理想的业务成果。打包业务应用正在推动BDA解决方案的主流采用,就像交易业务应用那样。在这方面,越来越多的打包BDA应用正在上市,利用AI、DL和ML作为其核心附加值。
行动措施
所有这些趋势都表明企业应该采取行动了:
- 在未来的3-6个月内,BDA专业人员应该开始评估商业打包解决方案日益扩大的范围,这些解决方案加快了特定行业或业务线分析以及交易应用实现价值的时间。
- 在未来的3-12个月中,你应该摸索着将更多BDA应用迁移到公有云环境中,以充分利用该领域中那些快速成熟、低成本的选择。
- 在未来3到24个月内,你应该考虑构建混合公有/私有的多云环境,以确保向未来更完整的公有云BDA计算环境的长期平滑过渡。
- 当你制定长期公有云BDA体系结构(包括大规模处理所有这些工作负载所需的底层硬件平台)时,你应该评估合作伙伴/独立软件开发商(ISV)的解决方案组合丰富性,合作伙伴/ISV解决方案针对这些环境的开发范围,以及针对各种分析、交易和其他数据驱动型工作负载的开源解决方案和专有解决方案混合匹配的API。
- 立即开始着手,你应该聘请专业服务合作伙伴协助规划和执行你在公有云中实现BDA的各项步骤。