云存储缓存可以减少性能降低的延迟。了解这些设备的工作方式,替代方法,按需功能和各种可用产品。
企业越来越多地将IT基础设施从内部部署系统转移到云服务。这样,他们面临着分布式系统设计人员熟悉的问题:很大限度地减少了将应用程序和用户与数据分离时的性能下降。即使组织全力以赴地使用云计算基础设施并将应用程序和存储放在同一云区域中,也无法避免这种降低性能的云延迟,因为员工仍然必须在访问文件共享和数据库之前遍历全球互联网。
无论是在处理器芯片上还是在企业IT环境中,数据延迟的典型解决方案都是缓存和同步。使用这些技术,可以将经常访问的信息复制到内部部署存储库,并将本地更改自动复制到中央存储位置。
存储缓存在云平台中采用多种形式。一种通用的方法是一种类似于小型NAS阵列的云缓存设备,该设备定期与作为权威数据源的一个或多个云存储服务同步。
云缓存技术如何工作
有几种可用的云存储缓存设备。最主要的实现方式使用内部部署硬件或虚拟设备,该硬件或虚拟设备连接到至少一个驻留在云端的虚拟网关,并提供通向一个或多个云计算对象、文件或块存储服务的管道。这些设备可以在单个群集内和多个远程位置并行使用。他们创建了一个分布式存储系统,其中包含多个企业数据中心、边缘位置和托管存储服务的IaaS区域。
云缓存系统有时也称为混合存储网关设备,以强调其作为内部部署和云计算基础设施之间桥梁的作用。正如调研机构Gartner公司定义所指出的那样,与其他嵌入式缓存一样,这些设备根据设备和应用程序拦截文件、块或对象存储I/O。他们使用缓存管理算法,通常是最近最少使用或自适应替换缓存算法,来最大化缓存命中率并最小化外部数据流量。当从云中检索缓存未命中(不在缓存中的数据)时,设备还使用数据压缩算法(例如压缩和重复数据删除)以及WAN优化软件来提高性能,并很大程度地减少延迟。
AWS Storage Gateway是支持多种存储类型和后端云服务的混合网关的示例。
云存储缓存替代品
云缓存技术有两种变体,它们不充当纯粹的本地缓存:
- 云存储网关就像没有本地存储的缓存设备。它通常实现为虚拟设备,可作为虚拟机(VM)运行,并向本地用户公开NFS和SMBNAS文件协议或块接口(例如iSCSI),并将数据写入云对象存储服务。鉴于虚拟机(VM)服务器上本地存储的低成本以及本地缓存的显著优势,几乎没有剩余产品可以充当纯网关。
- 分布式文件系统为企业提供了可跨多个群集和多个位置的类云对象存储的企业实施。某些产品也可以部署在AWS等云计算基础设施上,从而使文件系统能够跨越私有和公共资源,并能够在需要时扩展云计算的额外容量。分布式文件系统提供了几乎无限的可扩展性,无中断的容量扩展、静态和传输中的数据加密,具有地理分布的复制的高可用性以及用于文件和对象存储的单个全局名称空间。一些产品还包括备份和存档模块,用于定期将数据复制到云存储库,并将未使用的数据或冷数据迁移到低成本的云存储服务,例如Amazon Glacier。
云缓存设备市场和产品
云存储网关和缓存设备的市场与企业广泛采用云服务的同时正在增长。调研机构Zion Research公司估计该市场的销售额约为30亿美元,每年以30%的速度增长,到2023年将达到近72亿美元。一些大型企业IT供应商专门从事混合云存储软件,例如Ctera Networks和Panzura。
以下列表并不是详尽的产品指南。但是包括流行的云网关缓存产品。
AWS Storage Gateway可以用作将本地系统与AWS存储资源连接的虚拟设备或硬件设备。它支持对S3资源的文件(SMB或NFS)、卷(iSCSI)和磁带(虚拟磁带库)访问。该软件设备需要一个具有四个vCPU、16GBRAM和80GB磁盘空间的虚拟机,用于图像和系统数据。硬件设备是双处理器Dell EMC PowerEdgeR640服务器,具有128GB内存和四个用于缓存的2TBSSD硬盘。
Ctera NetworksLtd.有一套包含三个软件产品的套件,它们共同构成了一个混合存储体系结构。它们包括用于核心云服务和系统管理的CteraPortal,用于本地服务器的Ctera EdgeFiler和用于远程客户端的Ctera Drive。Ctera软件可以作为虚拟设备使用,也可以与五种系统配置之一捆绑在一起。
除了AWS Gateway,Dell EMC还提供了多种混合云存储产品。这些包括:
- Power ScaleOne FSOS Cloud Pools功能,该功能可将数据分层策略扩展到云服务,以便将不经常访问的数据自动从本地存储迁移。CloudPools支持阿里云、AWS、谷歌云平台(GCP)、MicrosoftAzure和Virtustream。
- 具有Unity Cloud Edition虚拟设备的UnityXT全闪存Unified Storage中端存储阵列,可以在AWS上运行,以将块、文件和VMware Virtual Volumes扩展到云计算基础设施。
微软公司主要是通过2018年收购Avere和2012年收购Stor Simple建立了混合存储产品组合。
- Avere公司是云缓存技术的先驱,并继续提供为高性能计算(Azurev FXT)和企业(Azure FXTEdgeFiler)工作负载设计的设备。EdgeFiler有两种1U型号可用,一种具有12.8TBSSD缓存,另一种具有两倍的缓存,可以扩展到每个群集24个节点,并提供数百万的IOPS和每秒数百千兆字节的吞吐量。
- 到2022年StorSimple将会过时,由Avere、Azure FileSync服务或Azure StackEdge取代。Azure StackEdge是具有嵌入式现场可编程门阵列的1U服务器,用于人工智能工作负载加速。它充当通过Azure门户管理的缓存云网关。
Nasuni是可公开NAS文件协议的分布式对象文件系统,并受AWS、Azure,GCP和IBMCloud支持。它是一种软件产品,通常在本地部署在超融合基础设施系统上。
NetApp全局文件缓存基于NetApp最近收购的TalonFast存储软件。该产品使用本地数据缓存创建一个全局分布的虚拟文件共享,该本地数据缓存会根据使用模式自动刷新。文件缓存与NetApp Cloud Volumes Ontap和Azure NetApp文件一起使用,以提供从内部服务器和边缘客户端到云存储的低延迟访问。
Panzura Freedom是一个全球性的分布式对象文件系统,具有统一的命名空间和本地缓存,该缓存可以自动跟踪热数据块和冷数据块,以提高缓存性能和效率。它的SmartCache策略允许通过固定缓存中的数据来覆盖自动缓存管理,而不管其访问频率如何。、Freedom可以作为可在AWS、Azure、GCP,IBM Cloud和VMware上运行的虚拟软件设备提供,也可以作为三种FreedomFiler硬件设备之一使用,最多可支持28TB缓存和5,000个用户。
PureStorage不提供云缓存网关。但是,其云计算块和对象存储软件可以跨越多个位置,并可以通过虚拟设备扩展到AWS和VMwareCloud基础设施。
Stone Fly Smart Cloud Storage Gateway可以作为虚拟设备使用,也可以与StoneFly的SAN或NAS设备捆绑在一起。它提供iSCSISAN、S3兼容对象和NAS存储。该虚拟设备可在裸机服务器和大多数管理程序上运行,软件和硬件设备均支持AWS、Azure和StoneFly的私有云。