【51CTO.com快译】新冠疫情让企业看到了数字化的重要性，加速了企业数字化转型的步伐，同时也推动了 IT 预算的增长。预计到2022年，企业 IT 支出将恢复到 2019 年的水平。 Gartner 指出，IT预算的支出将在企业软件(包括数据库、分析和商业智能)上得到快速增长。
随着数据量的快速增长，从数据中获取价值，无论是洞察力还是交易，都是改善业务成果的根本。在追求从数据中获取价值的过程中，数字化产生了一种新的价值向量：实时。
在处理和存储数据，需要一个统一的新平台，才能够充分分析、挖掘即时数据，为业务提供高速的洞察力、行动和价值，同时还能够快速存储数据。根据Forrester咨询公司的报告发现，超过80%的企业高管认为需要决策基于瞬时分析的事件和对市场状况进行实时。然而，希望和能力之间存在巨大差距。Forrester 采访的超过三分之二的高管表示，他们的组织无法获得实时的、数据驱动的洞察力和行动。
大量实时数据带来的新挑战
数字化正在产生大量的实时数据。它从服务器、设备、传感器和物联网设备涌入，以至于估计未来三年生成的数据将比过去 30 年还多。
所有新数据都是实时产生的。在数据产生的那一刻，很多数据中包含了与刚刚发生事情相关的独特价值。但是，随着时间的流逝，该价值即会逐渐消失，并且数据会失去其基于时间的相关性。
企业高管希望通过利用实时数据来发现价值，但大多数都因新的数据量过大，而无法实时有效的对数据进行分析。在戴尔科技集团 2020 年数字化转型指数调查中发现，绝大多数高管 (70%)表示，他们的企业正在出现超出其分析或理解能力的数据。
大量实时数据带来了新的挑战：新型数据孤岛。由于实时处理需要与存储数据不同的技术，因为这两种数据的性质非常不同：
1）实时数据的独特价值瞬间消失。
2）实时数据往往没有更加深层的价值。
3）信息值不同;一个描述刚刚发生的事情，另一个描述历史。
换句话说，虽然实时数据包含关于刚刚发生的事件的时间关键信息，但它缺乏可以在存储数据记录中找到更多有价值的内容。
例如，如果一个事件不能立即与该独特客户的个人资料和历史背景相结合，那么就无法知道该特定客户刚刚在线查看了零售商品有什么好处?当金融市场交易刚刚发生时，如果不结合交易参与者的业绩历史，如何对其财务风险进行分析?当来自制造传感器的事件数据显示异常信号时，如何在不知道最近维护历史的情况下，就无法评估预防措施是否到位?
可以说，数据世界已经永久改变。现在的主导力量是实时数据，而对历史数据的存储与分析仍然存在。
建立多功能数据处理平台
数据库位于应用程序和历史数据之间。他们擅长对存储的数据执行事务和查询——但仅适用于传统应用程序。数据库的功能和性能都旨在满足以前的期望。数字化时代的今天，实时数据分析要求达到微秒级别，对性能有着更高的要求，这是数据库架构无法实现的。
此外，数据库并非旨在处理源自 A 点并正在传输到 B 点的实时数据。因此，它们必须插入可以执行此类处理的引擎。这些接口会产生显着的延迟，这是实时数据的死敌。重要的是，随着时间的流逝，实时数据的价值会迅速消失。即使可以实现将多个系统合并在一起，它将带来更高的维护成本和更加复杂的架构。
因此，为了统一处理实时数据和存储数据，需要一种新的数据处理平台。该平台必须利用现有的数据库并支持使用这两种类型数据的应用程序。
这个多功能平台包括一个用于数据摄取、转换、分发和同步的流引擎。为了满足数据处理的超低延迟要求，该平台必然基于内存技术。并且要满足容量和弹性的双重要求。此外，它必须是分布式架构。通过这种组合，该平台可以提供亚毫秒级响应，每秒执行数百万个复杂事务。
原文标题：Unifying streaming and stored data
【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】
