DeepSeek开源3FS背后:软硬一体的专用AI存储系统

业界
近期,DeepSeek开源的3FS系统向全球科技圈力证,通过存储来优化AI推理工作负载,可有效提升大模型性能,同时大幅降低成本。

近期,DeepSeek开源的3FS系统向全球科技圈力证,通过存储来优化AI推理工作负载,可有效提升大模型性能,同时大幅降低成本。

作为AI原生存储,3FS的链式复制机制、FFRecord格式优化等创新设计,不仅重新定义了AI存储的技术标准,更凸显了专用存储系统在支撑超大模型推理中的不可替代性。

从技术角度看,曙光存储ParaStor与3FS呈现出高度趋同性,二者通过相似的技术路径共同推动着AI基础设施的进化。

高性能数据存储 为AI集群释放算力

曙光ParaStor和3FS都是典型的高性能并行文件系统,这类系统堪称是最适合AI的数据存储。

两者均以RDMA技术为核心传输协议,通过零拷贝机制将网络延迟降至微秒级,有效解决了传统TCP/IP协议栈在AI集群中产生的CPU资源争用问题,使200Gbps网卡利用率突破90%。在此基础上,两者创新性引入硬件卸载技术,将数据校验、协议解析等任务交由智能网卡处理。

实测显示,硬件卸载可使存储读响应时间缩短40%,同时释放30%以上CPU算力用于模型推理。

这种“存储即服务”的设计理念,彻底颠覆了传统存储依赖CPU资源的模式,为AI集群释放出更多算力空间。

AI专属优化:IO特征适配与智能缓存

针对AI训练特有的小文件高并发、数据访问局部性及混合负载特性,曙光存储ParaStor和3FS均构建了多层优化体系:

元数据分片技术:将百万量级小文件的元数据请求分散至多个控制节点,使查询吞吐量提升5倍以上,支撑万级客户端并发访问。

智能预取与缓存分层:通过分析训练任务的数据访问模式,提前将数据从HDD预加载至NVMe缓存,使ResNet-152单epoch训练时间缩短18%。

QoS感知调度引擎:动态分配带宽与IO优先级,确保模型训练关键路径的服务质量。

弹性进化:EB级存储的无缝扩展能力

为满足大模型训练对海量数据的需求,曙光存储ParaStor与3FS均采用去中心化架构:

全局命名空间:整合跨地域、跨介质存储资源,支持千亿文件统一管理。

无状态弹性扩展:节点可在线扩展至数千个,容量与性能随节点增加线性提升,在GPT-3级场景中实现超1TB/s聚合带宽。

自适应纠删码策略:对热数据采用多副本保障性能,温冷数据采用EC 8+3编码,使空间利用率突破85%。

软硬一体:构建自主可控的AI存储基座

3FS的技术突破与ParaStor的国产化创新,共同印证了一个行业共识:硬件加速、场景化优化与分布式架构的深度融合,是突破“存储墙”的必由之路。

在共性技术之外,曙光ParaStor依托国产硬件生态优势,实现了自研SSD控制器与智能网卡的协同优化,在国产AI芯片适配性上展现出独特价值。这种自主可控的技术路径,不仅提升了系统的稳定性与安全性,更为我国AI产业发展提供了坚实的基础设施保障。



责任编辑:企业资讯
相关推荐

2025-03-13 13:51:46

2025-02-28 10:01:06

DeepSeekAI开源

2018-07-31 11:02:21

存储系统算法

2025-03-03 02:00:00

DeepSeek文件系统开源

2015-03-20 10:13:34

IP存储网络博科EMC

2015-04-24 20:49:19

天畅信息EMMzbox

2014-07-08 11:28:42

NetBackupBackup Exec赛门铁克

2012-09-07 09:54:11

桌面云华为桌面虚拟化

2013-02-22 11:07:36

Red Hat开源Hadoop

2012-10-15 10:23:34

虚拟化

2025-02-28 10:36:25

2013-01-31 09:06:32

存储初志科技一体机

2011-05-06 16:02:36

喷墨一体机维护保养

2024-08-27 09:41:02

2015-07-08 14:44:15

数据保护

2013-04-17 09:24:46

桌面虚拟化软硬一体化

2013-02-25 11:30:14

点赞
收藏

51CTO技术栈公众号