众所周知,生成式AI不但对算力提出了更高的要求,而且更加需要高性能的存储来满足模型训练时的数据读写需求。随着技术的进步,闪存存储无论在性能还是容量方面,都有了很大的提升,也成为数据中心用户关注的焦点。在此背景下,传统的机械硬盘大有退出历史舞台的趋势。那么,在生成式AI时代,机械硬盘真的一无事处吗?机械硬盘还有哪些优势?本文将简单的进行分析。
生成式AI时代存储面临的主要的挑战
谈到生成式AI给存储带来的挑战,大部分用户都会更加关注存储性能的问题。的确,高性能的存储能够为各种大模型训练提供更好的保障。不过,除了性能之外,存储容量的提升也是必须引起关注的另外一个方面。
我们知道,大模型在开发过程中需要大量的数据,数据越多模型的精准度就会越高。与此同时,企业在使用大模型的过程中,模型本身也会产生更多的数据。据IDC调研,到2028年,全球将产出393.9ZB的数据,如何更加有效的存储这些数据,成为摆在企业面前的挑战之一。
IDC数据显示,GenAI带动的基础设施、平台/模型、应用程序和服务的支出预计在2023年至2027年将以73%的复合年增长率增长。Gartner预计到2025 年,生成式AI产生的数据将占所有数据的 10%,现在比例还不到 1%。
如此庞大的数据量,如果存储在SSD的设备当中,成本将非常高,这显然不符合企业的要求。相比较之下,HDD在存储海量数据方面有着更高的性价比。近年来,随着HDD技术的不断突破,单盘30TB的硬盘已经开始出货,进一步降低了企业海量数据的存储成本。
机械硬盘具备哪些优势
与SSD固态硬盘相比,机械硬盘主要具有以下几个方面的优势:
一是更大的数据存储容量和更低的成本效率。随着技术的进步,HDD的单盘容量不断提高,目前单盘20TB的硬盘已经大规模进入数据中心,30TB容量的硬盘已经进入测试阶段。更大的存储容量,能够存储更多的数据,在每GB的性价比方面,HDD具备更低的成本,能够更好地降低数据中心的存储成本,带来更加经济的存储解决方案。
二是数据存储持久性。机械硬盘由于其非易失性特性,在断电情况下能够保持数据不丢失,这对于确保数据的安全性和完整性至关重要。此外,在数据丢失或损坏的情况下,从机械硬盘恢复数据通常比从固态硬盘更容易和成本更低。
三是顺序读写性能。在某些应用中,如视频监控和大数据分析,机械硬盘的顺序读写性能可能优于随机读写性能,这使得它们在这些特定场景中仍然有其优势。
四是复杂环境下的适应性更强。机械硬盘在某些环境条件下可能比固态硬盘更耐用,例如在振动或极端温度下。由于技术已经非常成熟,且在许多数据中心中已经广泛部署,其可靠性和维护经验已经被充分验证。
根据行业分析机构 Trendfocus 分享的数据,2024 年一季度全球实现 2970 万块机械硬盘出货,环比增长 3%。因此,尽管固态硬盘在许多方面提供了优势,但机械硬盘在数据中心中仍然扮演着重要角色,特别是在成本、容量和数据持久性方面。随着技术的不断发展,机械硬盘可能会继续与固态硬盘并存,以满足不同应用场景的需求。
机械硬盘的技术发展路线
更高的单碟密度和更大的单盘容量是主流硬盘厂商的主要技术发展方向,为此,希捷和西部数据通过采用不同的技术,来不断提高单盘的存储容量。
希捷:希捷今年初发布了Mozaic 3+(魔彩盒3+)平台,通过一系列的技术创新,不断提高硬盘的容量和性能。在Mozaic 3+(魔彩盒3+)平台之上,集成了希捷科技最新的超晶格铂合金介质、等离子写入器、第7代自旋电子读取器、12nm集成控制器等众多先进的技术, 单碟片面密度达到了前所未有的3TB+,并在未来几年内将实现单碟4TB+和5TB+的发展路线图。
除了单碟容量的提升之外,为了满足AI对于存储性能的需求,希望还首创了MACH.2 多磁臂硬盘技术,包含两个独立传动器,可同时传输数据。MACH.2 通过实现数据流并行进出单个硬盘,满足了性能提升需求。MACH.2 确保数据中心主机可同时并行请求和接收来自硬盘两个区域的数据,将每个硬盘的 IOPS 性能提高了一倍。借助 MACH.2 技术,超大型规模数据中心无需牺牲容量或总体拥有成本 (TCO),即可获得大幅效能提升。
西部数据:西部数据借助创新的OptiNAND技术、能量辅助磁记录(ePMR)、三阶寻轨定位系统(TSA)、氦气封装(HelioSeal)以及全新的UltraSMR技术,不断提高硬盘的容量,更好地帮助云服务客户降低存储总体拥有成本(TCO)。同时,由于在面密度技术上的独特优势,西部数据能够更好地帮助客户获得更低的每TB容量功耗,帮助数据中心客户提高PUE(电源使用效率)。
在HDD产品上,西部数据可提供容量高达24TB 的Ultrastar DC HC580 CMR HDD、及28TB 的Ultrastar DC HC680 SMR HDD。据了解,UltrastarDC HC680 SMR HDD为超大规模云、云服务提供商和企业级客户提供了更高的存储密度,广泛应用于大容量存储、在线备份、智慧视频、在线归档、云存储、合规性存储、大数据存储以及其他可能不常访问数据的应用。
写在最后:
虽然在性能方面机械硬盘无法与固态硬盘相提并论,但由于容量更大、成本更低,机械硬盘仍旧是当前数据中心的主要存储产品。随着技术的不断突破,机械硬盘每GB的成本将会更低。因此,机械硬盘短时间内并不会被取低,而是与固态硬盘共同打造混合存储产品,以满足不同应用的需求。