物联网(IoT)是技术市场上增长比较快的市场之一。合并和分析设备数据的能力既是福也是祸。数据格式以迭代速度变化，并且数据量在不断增长，而且看不到尽头。
物联网数据只有一个地方可以管理和控制：流。数据流通过将物联网领域的高级中间件与高级机器学习和人工智能相结合来处理数据传输。
但是，并非所有的流技术都是一样的。流从一开始就被设计用来实现快速有效的数据移动，支持从医疗警报到远程维护和智能家居的各种用例。为了完成这些多样化的用例，流必须支持多种数据类型，并准备支持现有和新兴的行业标准。
如今，随着这个市场的成熟并发现流数据的更广泛的应用和接受，业务和技术要求正在不断扩大。数据流至少必须：
- 提供实时分析。
- 包括集成的数据管理，包括数据沿袭。
- 根据数据提供实时操作。
- 执行实时异常检测。
- 支持所有类型的数据，包括有序和无序数据集。
- 随流数据一起携带重要的标记信息。
- 支持独立的数据区域设置。
- 嵌入数据安全性。
- 提供附加功能。
- 需要速度和吞吐量。
上面的要求是流技术的基础。除了这些明显的要求之外，我还建议了三个技巧来帮助您采用流技术：
1. 为决策而构建
传统上，分析是一种后处理功能，但在流技术领域却并非如此。流将分析范围扩展到在关键时刻提供关键数据。相反，流的分析模型依赖于问题确定和行动。这意味着流分析可以触发警报，协调呼叫并将实时数据提供给旧版应用程序以立即改善业务。
为了使所有这些工作正常进行，流必须支持从GPU到CPU的最新计算模型，尤其是考虑到越来越需要在物理上更接近执行工作的地方进行工作。最后，随着计算和存储变得更加专业化，将需要流技术来支持专注于查询或推理的参考体系结构，该体系结构由用于高级分析的API和过程组成。
2. 了解您的业务案例
传统上，我们将数据带回中央数据仓库或一系列数据湖，然后在其中进行分析。创建了许多技术来支持这种结构，包括Hadoop，数据多维数据集解决方案和多维数据库。物联网和流媒体解决方案的出现彻底改变了这种范例。如今，边缘应用程序是围绕推理模型构建的，从而允许逻辑工作更靠近生成数据的位置进行。不再需要将数据回传到中央存储库或云。可以实时扫描IoT数据以确定异常或提供数据趋势。噪声数据可以本地存储，也可以在源头删除，这代表着网络，计算和存储量的大幅减少。
正确的流技术可以通过内置逻辑，快速准确的问题确定和根本原因分析来识别数据中的异常。无需指责即可确定准确的问题区域，可帮助工程师在创纪录的时间内解决问题，降低成本并提高客户满意度。流解决方案还应该具有灵活的能力来建立单独的流，为机器学习或AI训练模型提供这些异常的预定格式以供摄取-自动分析高度复杂和具有挑战性的问题区域。
3. 对现实世界的支持
流技术必须支持简化编程的配置，并且必须高度适应多种环境。如今，支持无序数据处理的能力已成为常态。但是，对支持流中的有序数据的要求日益严格。对于机器学习和AI模型，这至关重要。流平台中必须有顺序处理流。知道并支持有序流可以提高建模的准确性，并且可以大大改善问题确定性，并可以对可预测的数据排序进行有力的控制。
最重要的是，数据流代表了跨云、混合云和边缘计算等复杂环境的数据融合中的下一个重大飞跃。数据流今天就在这里，随着物联网的出现，它们是未来的浪潮。
