边缘对象存储如何支持分布式计算

存储 分布式
对象存储是争夺边缘市场的重要竞争者,它提供高度分布式的点对点架构。

对象存储是争夺边缘市场的重要竞争者,它提供高度分布式的点对点架构。

边缘计算是一种IT模型,在该模型中,数据尽可能靠近其原始源进行处理,边缘计算在支持分布式工作负载方面发挥着越来越重要的作用。但是,它需要能够容纳大型数据集和高性能应用程序的存储系统。

考虑到这些要求,企业对边缘对象存储的兴趣与日俱增,并经常将结合闪存SSD和NVMe使用。

[[387459]]

IoT推动对边缘计算的需求

云计算对企业工作负载非常有价值,因为它具有高度可扩展性,并可消除本地基础架构的资本支出和管理开销。但是,其集中性可能带来与传统数据中心相同的挑战,尤其是在延迟和数据量方面。

边缘的设备类型(例如智能手机、机械传感器和IoT设备)可以在短时间内生成大量数据。在某些情况下,该数据需要立即处理,以便企业快速响应设备或执行操作,例如在传感器出现问题时关闭机器。如果所有这些数据都传输到云端等集中式平台中,它将淹没网络和平台的系统,这会降低性能并增加延迟。

当企业在更接近那些设备的地方处理数据时,设备会更快地收到所需的响应。在远程设备附近处理和管理数据的需求,使企业开始转向边缘计算。

在边缘计算模型中,企业将经过过滤或整合的数据发送到集中式平台。他们可以在非工作时间安排这些传输,这样可以减少平台系统的负载,并更好地控制网络流量模式。边缘系统可控制发送到集中式平台的数据以及传输时间。

对于处理来自5G和IoT设备以及自动驾驶汽车、医疗设备、制造系统、监控摄像头和其他设备的数据,边缘计算至关重要。但是,为了成功运行,边缘计算需要存储系统可支持数据密集型操作。

在边缘的对象存储

边缘系统不能在独立的集中式云或数据中心平台运行。相反,它们扩展这些平台以支持越来越多的分布式设备及其数据。边缘环境中的存储系统必须满足本地处理操作的需求,它们还必须满足分散式基础架构的数据管理要求。

某些边缘环境使用文件或块存储系统—取决于工作负载和数据量,但是这些系统有局限性,并给分布式操作增加复杂性。因此,很多企业都希望对象存储能够支持边缘方案。

对象存储可提供高度分散且可扩展的架构,该架构由独立单元(或对象)组成,每个单元都包含数据、元数据和标识符密钥。企业在公共云平台中广泛使用对象存储,对象存储可以支持大量的非结构化数据。

由于其架构情况,对象存储非常适合边缘的分布式数据系统。它提供单个全局名称空间,该名称空间提供统一管理平面用于访问数据。它符合HTTP、REST和Amazon S3等标准技术,可简化数据访问。其丰富的元数据使其易于搜索和管理数据,以及执行高级而全面的分析。

边缘对象存储提供几乎无限的可扩展性,它还可避免分层文件系统带来的复杂性。由于IT部门可以轻松地复制对象,因此还可以促进高效的灾难恢复。

边缘对象存储解决了SAN和NAS系统的很多局限性,因为它提供点对点架构,可简化操作并提高灵活性。相同的存储操作运行在集中式环境以及边缘系统中,这可提供跨越网络和地理位置的一致、高效的存储基础架构。对象存储还可以适应不断变化的工作负载。它可以处理云原生应用程序—其中结合容器化和微服务等现代技术。

边缘对象存储和NVMe

对象存储必须能够满足边缘计算环境的性能要求。

在过去,对象存储主要因其分布式和可扩展性而广为人知,而不是其性能。元数据增加了开销,数据修改可能很麻烦,并且固有的延迟会影响读取操作。但是闪存SSD和NVMe的出现改变了对象存储在数据中心和边缘环境中的作用。

现在,有些供应商提供包括SSD的对象存储系统,采用全闪存或混合配置。这些系统支持需要高IOPS和低延迟的工作负载,例如人工智能、深度学习和大数据分析。企业还在边缘环境中使用它们来处理和存储来自分布式设备的数据。

为了进一步提高性能,某些全闪存存储系统增加了对NVMe或扩展的NVMe-oF的支持。 NVMe使应用程序能够充分利用闪存SSD固有的高性能和低延迟。与SAS或SATA等传统存储访问协议不同,NVMe是从头开始设计,旨在最大程度地提高闪存性能并减少延迟。 NVMe优化了命令提交并支持并行操作,这使得数据传输比旧协议所能实现的快得多。

闪存固态硬盘非常适合边缘计算,因为它们可以提高存储效率,它们可减少功耗并减少基础架构的占用空间。NVMe最大限度地提高闪存的固有功能。借助Flash和NVMe,可以实现边缘对象存储。

 

责任编辑:赵宁宁 来源: TechTarget中国
相关推荐

2021-04-15 11:04:13

云计算分布式边缘计算边缘计算

2024-03-01 09:53:34

2017-09-01 05:35:58

分布式计算存储

2017-10-27 08:40:44

分布式存储剪枝系统

2024-01-29 14:46:22

分布式计算云计算边缘计算

2021-10-22 05:42:38

分布式存储三副本系统

2013-12-27 10:56:42

分布式对象存储Sheepdog性能测试

2014-02-19 11:37:57

分布式对象存储Sheepdog

2024-08-12 16:20:27

2015-05-12 13:03:54

开源分布式存储HDFS

2018-10-16 14:26:22

分布式块存储引擎

2018-02-22 08:42:04

分布式存储安全

2016-12-06 20:01:00

超融合

2012-09-19 14:09:20

Hadoop开源

2013-03-26 13:43:08

Java分布式计算

2012-05-21 16:28:29

LinuxHadoop

2017-01-10 16:18:26

分布式存储建设

2017-10-17 08:33:31

存储系统分布式

2018-04-25 09:01:02

2018-10-09 10:45:40

点赞
收藏

51CTO技术栈公众号