大数据如何以及为什么会迅速变成小数据蔓延

大数据
在未来几年中,市场的关注点将从大数据转移到小数据蔓延,但是小数据蔓延增加了与数据相关的价值和风险。企业、监管机构,尤其是个人,需要为小数据的蔓延做好准备。

如今的企业希望更贴近客户,而亲近感使他们更具反应能力和个性,这也让他们能够更好地控制这种关系。由于物联网设备现在具有足够的能力解决实际问题,每家公司都在建立一个边缘策略。

大数据/小数据

数据是任何一个边缘计算策略的核心。边缘设备将收集、分析和存储有关用户、其环境及其响应的信息。其结果是,更多的信息将出现在人们的各种设备中,信息片段将会散布到整个环境中。这就是“小数据蔓延”。

在未来几年中,市场的关注点将从大数据转移到小数据蔓延。大数据更易于控制、管理和分析,它存储在中央数据湖中,数据管理员在那里保护数据,少数数据科学家对进行了分析。小数据蔓延增加了与数据相关的价值和风险。企业、监管机构,尤其是个人,需要为小数据的蔓延做好准备。

数据点1:边缘计算设备(尤其是物联网设备)的数量呈爆炸式增长

分析人士认为,全球目前约有2000万台边缘计算设备,而且这一数字正在呈指数级增长。例如智能电表、汽车和可穿戴设备,物联网和边缘计算技术已经蔓延到每一个行业。农民、医疗设备制造商和制造商不断地收集遥测数据;政府、赌场和零售公司对于监控视频的收集也是如此。

数据点2:这些设备生成的数据量正在增长

工程师和科学家总是希望获得更多数据。即使现在不能使用,他们也希望将来能挖掘历史数据的价值。因此,每个设备生成的数据量正在飞速增长。与遥测数据相比,视频和音频的数据量更大,并且以更高的清晰度在增长。遥测设备正在生成更多的数据,这些数据被更频繁地收集。自动驾驶汽车收集的数据达到了25GB /小时,而且这个数字还在增加。

数据点3:必须在边缘进行初始处理

边缘计算设备正在成为一种技术成熟的计算设备,因为必须在本地进行初始处理。如果需要运行自动驾驶汽车或控制起搏器,则不能依靠速度慢、不可靠的网络。如果要确定犯罪或环境问题,则不能等待中央处理资源。因此,实时计算将在边缘计算设备本身上完成。其结果就是一种小数据蔓延。

数据点4:机器学习需要在中心完成

边缘计算设备可以执行算法,但是机器学习只能在中心进行。需要跨许多设备访问完整的数据集进行学习,还需要在更长的时间内应用更多的计算资源。边缘计算将优化流媒体;中心将优化分析、丰富和学习。这意味着边缘计算需要向中心发送数据。

数据点5:需要在中心进行保留

物联网数据必须符合法规要求,要求对数据和控制进行整合。组织知道他们需要保护、保留和删除数据(例如私人数据)。但是,他们还需要保留生成有关数据结论的算法。从交易股票的算法到调整胰岛素水平的医疗设备,再到用于识别潜在犯罪的摄像头,法院将期望通过视频能够再现其结果。这将需要原始算法和原始数据集。这只是一个开始。随着人工智能的日益普及,监管部门将更加关注。

数据点6:云计算将成为整合小数据的目标

组织将在云平台中整合边缘数据,因为它可以实现大规模的机器学习和合规性。云计算是唯一具有足够功能、容量和可访问性来存储数据的地方。它使客户能够应用功能强大的分析工具,因此他们不需要在市场上搜寻稀缺的数据科学家资源。最后,云计算提供了跨区域数据中心的集中视图,因此云计算团队可以集中管理数据,以符合本地法规。

数据点7:横向SaaS解决方案将管理和分类小数据

客户将寻求广泛的SaaS解决方案来帮助管理和分类他们的数据。每个行业都需要整合和保护其数据,他们还需要识别需要匿名或清除的数据(例如私人数据)。数据规模和多个位置不断发展的法规的复杂性相结合,将使组织相信将工作分担给SaaS专家。这些工具将收集数据、保护数据、对私有数据进行分类,并在客户需要时帮助他们找到所需的内容。

数据点8:垂直解决方案将对小数据进行分析

每个行业和组织都希望对数据做一些不同的事情。他们希望创造竞争优势。因此,人们将看到用于数据分析的行业专用SaaS工具的兴起,这些组织通过在云计算人工智能/机器学习基础设施上运行的自有算法来增强功能。通过卸载常见的基础设施任务,领导者将把精力集中在构建有利于竞争的秘密武器上。

物联网和边缘计算实际上正在改变每个行业。通过更接近客户和员工,组织可以释放新的机会来改善用户体验和生产力。同时,由此产生的小数据蔓延要求重新审查如何管理和使用数据。实时分析将走向边缘,数据保护和合规性将转移到SaaS云应用程序。这将使组织腾出更多时间来使用云计算工具构建数据和扩充算法。

但是作为消费者,确保数据隐私和合规性法规与新技术保持同步至关重要。了解变化是第一步。

 

责任编辑:赵宁宁 来源: 企业网D1Net
相关推荐

2021-04-12 22:19:54

大数据计算机互联网

2023-03-02 13:32:23

2019-12-16 15:17:13

大数据信息安全数据库

2013-03-20 10:31:14

大数据数据云服务

2022-02-27 15:28:53

大数据挑战战略

2013-02-21 16:36:09

大数据

2013-03-18 10:14:00

大数据小数据

2020-02-17 09:14:16

云计算云迁移公共云

2018-11-03 16:49:22

大数据互了网人工智能

2020-03-27 16:05:49

数据库数据MySQL

2013-05-30 13:40:10

小数据大数据网络流量

2016-08-31 22:02:15

2021-10-29 22:45:47

大数据算法技术

2016-08-12 00:20:22

大数据小数据

2024-01-30 17:46:24

2022-05-18 08:25:59

MySQLutf8字符集数据库

2013-07-16 10:05:02

大数据

2015-07-23 09:34:57

大数据数据分析

2016-08-18 01:45:05

数据科学数据产品

2013-01-07 11:31:11

大数据大数据应用
点赞
收藏

51CTO技术栈公众号