大模型时代核心存储革新,华为全闪存存储的创新突破

原创
存储
华为推出新一代OceanStor Dorado全闪存存储,以极致性能、极致韧性和AI-Ready三大特性,为企业数智化转型提供了坚实的支撑。 图片

随着数据规模的爆炸性增长和AI应用的日益复杂,存储正站在了技术创新的十字路口。在大模型时代,存储系统需适应数据量的激增和高并发访问需求,实现更高带宽、更低延迟。同时,企业还需要优化数据管理,提升读写效率,确保数据安全,并支持灵活的数据访问模式,以满足AI模型训练和推理的严苛要求。

在Scaling Laws法则的影响下,需要xPU与存储之间必须具备超大带宽,以应对万亿级参数大模型的训练和推理需求。其次,在当前的AI训练环境中,算力集群的可用度普遍低于50%,频繁的训练中断不仅浪费了宝贵的计算资源,还严重影响了模型的训练效率,因此算力集群的可用度问题亟待解决。此外,长序列推理导致的时延增加和单卡吞吐降低也是存储系统需要直面的难题,这要求存储系统必须具备高效的数据处理和检索能力,以缩短推理时延并提升单卡吞吐量。

在此背景下,华为推出新一代OceanStor Dorado全闪存存储,以极致性能、极致韧性和AI-Ready三大特性,为企业数智化转型提供了坚实的支撑。

新一代全闪存软硬件全面升级,智能DPU网卡提供数据流和控制流分离能力,打破处理器性能瓶颈,以专用硬件功能卡卸载CPU算力,开启增值特性功能后性能无损。软硬件深度协同释放性能,全新升级的FLASHLINK 智能盘控卡协同算法,达成存储系统亿级IOPS、0.03毫秒低时延,相较上一代全闪存存储产品提升性能3倍。

华为公司副总裁、数据存储产品线总裁周跃峰表示,过去存储系统以CPU为中心,所有数据操作和传输都依赖于CPU和内存缓存。然而,随着数据量的爆炸性增长,这种架构逐渐显得力不从心。华为提出以数据为中心的架构。

华为公司副总裁、数据存储产品线总裁周跃峰华为公司副总裁、数据存储产品线总裁周跃峰

架构的转变意味着数据面和控制面将被分离,控制面依然由CPU处理,负责决定对数据进行何种操作,而数据面则直接通过网卡与存储设备进行通信,由网卡内部的控制器直接管理数据的读写。这种分离不仅减轻了CPU的负担,还提升了性能,同时考虑到了节能的需求。

数据安全是存储架构创新中不可忽视的一环。随着勒索病毒的频繁发生,存储系统需要集成数据安全功能,以防止数据被非法访问或破坏。新一代OceanStor Dorado支持SAN和NAS全域防勒索,勒索病毒检测率最高达99.99%。通过智能快照关联分析及智能合成技术,保障数据恢复100%可用。此外,新一代SmartMatrix全局互联架构,容忍引擎、硬盘框、机柜多层故障,单设备可靠性达99.99999%,极端场景下支持8个引擎7个故障时业务仍恒稳在线。

新一代OceanStor Dorado全闪存存储采用原生块、文件、对象统一存储架构,支持数据库、文件、容器等多样化应用,广泛承载AI时代多样化生产核心数据存储需求。通过DME数据管理引擎实现对话式运维,并利用大模型技术主动发现异常,运维效率提升5倍。此外,存储不仅仅是数据的读写管理,更重要的是对存储数据的深入管理。这就需要数据编制功能,让海量数据可视可管可用。通过数据资产的统一视图,实现跨域、跨站点、跨厂商等负责数据的全局可视化,让数据高效经济的存储,高效查找。

如今,华为数据存储已广泛应用在金融、制造、教育、医疗等多个行业,服务全球26000多家客户,150多个国家和地区,全球Top100银行中有53家选择华为,广受客户信赖。而华为OceanStor Dorado全闪存存储的推出,标志着存储技术进入了一个新的发展阶段,为企业提供了一个高效、稳定、安全的存储解决方案,还为AI时代的核心业务提供了强有力的支持。

责任编辑:鸢玮 来源: 51CTO
相关推荐

2018-07-09 08:50:58

全闪存存储容量

2017-10-11 08:21:07

闪存数据中心存储

2023-07-14 13:49:18

OceanStor华为

2015-09-19 20:37:59

华为

2017-08-21 15:34:18

闪存阵列厂商存储

2017-05-15 11:27:35

华为

2013-12-04 10:40:23

华为存储全闪存阵列高端存储

2017-03-13 19:46:08

闪存存储SSD

2017-03-08 14:36:17

全闪存混合存储

2024-07-01 21:06:10

2019-03-14 14:18:49

全闪存混合闪存存储

2020-03-31 14:53:02

华为全闪存AI

2016-11-10 16:14:56

闪存HDD闪存存储

2015-08-15 21:18:03

惠普全闪存

2013-09-09 10:19:23

华为闪存高端存储

2018-05-03 09:05:02

全闪存阵列存储

2014-10-16 09:58:05

希捷

2018-03-29 15:53:38

华为
点赞
收藏

51CTO技术栈公众号