曾经有一段时间,你无法逃避围绕物联网(IoE)的讨论,这本身就是我们不可避免地要继续物联网(IoT)之旅的象征。
当我们发现新技术时,我们的即时反应是越来越多,越来越多,Qlik的高级经理Adam Mayer说,但并不一定要确保我们能最大限度地利用现有的技术。因此,政府鼓励企业在开始看到投资回报之前,在每盏灯、每扇门和每座厕所上安装传感器。
许多大数据的早期使用者也经历了类似的过程;他们花了很长时间才明白,如果没有更好的可视化和分析方法,拥有更多的数据不一定会转化为更好的结果。因此,组织逐渐意识到物联网的最大潜力在于如何探索和探测这些设备产生的数据,以提供经验教训和改善结果。
分析物联网数据的障碍
对于许多组织来说,这说起来容易做起来难。整合物联网数据进行分析存在重大挑战。
首先,组织必须克服将来自不同来源的各种数据集成到其数据管道中的困难。Qlik与IDCrevealed的研究将不同的数据集成到标准格式中,这是组织在将数据转换为分析形式方面面临的最大挑战之一(37%)。
物联网的引入大大加剧了这一挑战,因为它可以快速增加输送管道的数据源的数量,这些数据源通常采用不熟悉的或非结构化的格式,在准备进行分析之前必须进行转换。
第二个挑战,高容量和高速度的吞吐量,进一步加剧了这个问题。随着许多物联网设备不断读取数据,产生的数据量远远超过大多数设备。这就自然而然地遇到了最后一个障碍,即即使数据管道足够健壮,能够接收和转换来自物联网设备的连续数据流,许多可视化和分析解决方案也无法提供实时信息更新。
这意味着,无论瓶颈是软件方面的,还是由用户查看其输出之间的时间间隔造成的,从数据中获得的知识只能追溯实施,而不是实时实施。
跟上数据的步伐
希望利用物联网的组织可以通过构建数据供应链来克服这些挑战,该供应链可以快速集成和转换来自多种不同来源的数据。
传统的面向批处理的方法(如提取、转换和加载(ETL))速度太慢、效率太低、破坏性太大,无法集成和支持对物联网数据的及时分析,并且通常需要大量的编码和深度脚本。31%的全球组织将“缺乏处理数据的熟练资源”列为准备好数据分析的最大挑战之一,因此组织减少熟练程序员的大量时间消耗对于物联网实施的成功至关重要。
变革数据捕获(CDC)技术为那些希望快速处理物联网数据进行分析的人提供了一个可实现的智能替代方案。CDC没有将数据上传到不同的源中,而是通过在数据更新发生时识别和复制数据来实现连续的增量复制。以这种方式流式传输数据显著提高了数据被接收和传输到数据仓库或数据湖进行分析的速度。
最后,当数据管道能够近乎实时地集成数据时,重要的是分析解决方案不仅能够持续可视化最新信息,而且还内置了一层主动性来支持决策过程。实时警报不仅提供洞察,还可以为用户提供快速触发的建议操作。利用认知引擎来提供这种主动智能将是下一代BI工具的关键功能。
提供物联网承诺的数据管道
组织必须确保他们不会像许多人在大数据早期那样陷入物联网的陷阱,在大数据时代,拥有更多数据的目标优先于使用他们所拥有的来驱动最佳结果。纵观物联网的早期采用者,太多的人更专注于接收实时更新,而不是采取必要的步骤来转换和分析其输出,以增强更好的决策能力。
物联网的承诺是不断学习、行动和反应的机会。为了确保组织中的物联网实施具有支持高级分析的速度和灵活性,他们必须首先确保他们的整个数据管道能够完成任务