闪存存储分解允许数据中心以经济高效,灵活和可靠的方式独立扩展CPU和闪存资源
在混合云模型中,什么是有效的数据存储方法?
部署了闪存(存储)的目的是为了在数据中心为应用程序提供高输入/输出速率。但是,它的容量和带宽经常没有得到充分利用,因为服务器不容易设计成随时间推移以及跨多个应用程序来容纳Flash,内存和CPU。
随着组织越来越多的利用内部数据中心和公共云的优势来部署混合云模型,这个问题变得更加尖锐。云体系结构正在导致闪存存储的分解。
东芝在2017年的白皮书中证实:“随着云数据中心架构继续向共享基础架构和自动编排发展,存储性能和灵活性之间的紧张关系变得至关重要。”
什么是闪存存储分解?
闪存存储分解将SSD和HDD(性能或容量)结合在一起,比SSD聚合更经济,更灵活地提供高性能的聚合。(可以参考之前类似的案例:MemVerge将DRAM和Optane结合到大容量内存池中)
它可以帮助组织解决不同资源需求不平衡,以及随之而来的数据中心资源的过度供应或利用率不足的不平衡现象。
据Stanford 2016年出版:“随着服务器部署了足够的闪存来满足计划的未来需求,闪存容量通常得不到充分利用。根据应用需求的变化或峰值,部署大容量闪存设备可提供按需灵活性。”
市场趋势推动需求
有许多市场趋势推动了对闪存存储聚合的需求。
1.闪存存储:闪存的采用,加速了它作为增强计算机存储的存储介质,导致其成本下降。现在的挑战是通过分类解决方案来解决性能和耐用性问题。
2.网络技术:网络速度正在提高,现在100GbE被视为一种商品。这样可以进行分类。
3.应用程序需求:存储的增长速度快于计算,数据中心越来越多地迁移到云原生架构。这就需要具有高弹性和敏捷性,高可用性和可靠性的存储解决方案。
4.混合云:如前所述,正在采用混合云以提高运营效率。这需要在私有云中实现超扩展的解决方案。
所有这些因素意味着传统存储现在正在下降:
传统存储量大幅下降。资料来源:维基百科,2017年Server SAN预测2016-2026年。
云原生应用程序的要求
对低延迟,高带宽,一致的响应时间的需求(通常是“裸机”)通常部署在本地闪存(NVMe)上,越来越多的云原生应用程序共享这种需求。
当前,所有这些应用程序都遭受本地闪存利用率不佳(就容量和性能而言),节点出现故障时恢复时间长(网络,与应用程序服务器的物理联系以及闪存耐久性问题)。
这会导致闪存存储功能的严重利用不足,据估计浪费了50-85%的闪存资源。
使用NVMe / TCP进行闪存存储分解
应用程序越来越受数据驱动,以低延迟处理大量数据。为了应对这一挑战以及上述挑战,云提供商必须不断创新和完善存储技术。
像Lightbits Labs这样的提供商(Information Age是最新的第34届IT新闻巡回报道的一部分)与这些提供商一起,通过分解存储和通过标准网络进行计算,来帮助这些提供商将超大规模存储交付给私有云。
成立于2016年的Lightbits Labs通过传输控制协议(互联网的主要协议)开创了NVMe / TCP或非易失性内存Express(用于访问高速存储介质的协议)的先驱。
NVMe / TCP存储旨在提供低延迟,从而使云原生存储更易于大规模部署。
NVMe解决了了超大规模存储的瓶颈
Lightbits Labs首席战略官Kam Eshghi说:“混合云产品之所以出现,是因为客户希望NVMe在公共云以及本地云上运行软件” 。
“很多正在利用客户在公共云上本地拥有的现有基础架构来部署NVMe即服务。作为公共云上的黑盒解决方案,这将带来更好的性能和更大的灵活性。”
超大规模和共享存储的想法并不是什么新鲜事物。但是,提供延迟和性能方面类似于本地存储(数据中心或边缘计算设备)的群集NVMe / TCP共享存储算作是一种新鲜事物了。交付分类存储将导致闪存优化。
实践中的分解
可以通过标准的10 / 25G以太网为连接网络的NVMe设备提供与本地NVME相同或更好的性能,为云选择NVMe /TCP,可以与OpenStack和k8s存储进行集成,可以更好的加速云原生的转型。
参考链接:https://www.information-age.com/flash-storage-disaggregation-nvme-tcp-key-effective-utilisation-123488495/