华为自研多瑙调度器获CCF HPC China 2023技术创新奖

企业动态
多瑙度器一经推出,受到了广大客户的青睐,目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用,帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑

2023年8月23日-25日,全国高性能计算学术年会(CCF HPC China 2023)在青岛举办。 在本届大会上,华为自研企业级超大规模集群分布式管理软件-多瑙调度器凭借其高效调度能力、多样性算力支持和极简管理的先进性和创新性,荣获中国计算机学会高性能计算专业委员会颁发的技术创新奖

高性能计算正在从高精尖科研创新领域走向千行百业。2022年,华为正式发布了鲲鹏高性能计算解决方案(鲲鹏HPC解决方案),该方案基于鲲鹏全栈(含硬件、基础软件、应用优化等),通过硬件开放和软件开源,打造高性能、高算力的整机产品和完整的高性能计算基础软件栈。多瑙套件(含多瑙管理平台和多瑙调度器)是鲲鹏HPC解决方案的核心软件,多瑙调度器支持百万核超大规模调度和异构多集群统一管理,大幅提升集群管理效率和多核作业调度能力。

调度器作为集群计算的大脑,主要负责为任务分配相应的系统资源。好的调度器可以充分发挥集群资源的有效算力,为用户带来极致的性价比;反之则会导致严重的资源浪费,甚至是集群瘫痪。

华为自研企业级超大规模集群分布式管理软件-多瑙调度器,支持融合应用跨多样性算力资源的统一调度和管理,实现大规模、高资源利用效率、高调度性能,为多样性计算集群提供应用和资源的最佳匹配。多瑙调度器基于前沿的架构设计理念进行设计开发,横向支持HPC、AI、大数据多场景统一调度;纵向支持应用、算力、存储、网络、能耗深度感知和多维度智能调度;跨数据中心支持数据中心间资源协同,全局调度,并具备以下三大先进性和创新性:

●高效调度:通过自研多线程事件引擎、IO技术优化,支持单集群1万节点/百万核资源调度,资源利用率90%+,吞吐量超过400万/小时;通过启动作业多级树状分发关键技术创新,支持40万RANK MPI作业调度启动。

●多样性支持:通过节点标签、资源模型抽象统一技术,支持鲲鹏/x86/GPU多样性算力混合部署;通过架构分层、接口适配,以不侵入修改三方集群方式支持异构多集群统一管理,实现资源统筹规划和高效利用。

●极简管理:集成应用、监控、报表、计费四大中心功能,通过Web界面可视化管理集群,管理效率提升30%;提供设计计算一体化集成能力,数据不出湖,端到端保障数据安全。

多瑙度器一经推出,受到了广大客户的青睐,目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用,帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑,为高性能计算用户提供更容易落地的产品和解决方案,加速构建创新发展格局。

责任编辑:张诚
相关推荐

2010-06-30 10:05:53

Femtocell家庭媒体中心华为

2016-11-29 17:40:19

华为SSD

2013-05-13 15:02:17

华为eLTE移动通信网络

2013-12-18 17:53:07

华为OceanStor 1高端存储

2023-08-26 17:42:18

算力

2012-12-07 10:58:31

Teradata 大数据天睿

2011-05-13 18:04:44

2023-02-28 17:53:20

江行智能

2017-07-27 11:04:43

深信服 2017年度“可信云技

2014-03-06 15:24:53

RFaxis无线通信

2013-06-21 15:43:31

华为AtomCell华为

2018-02-01 16:42:37

技术创新

2023-12-22 17:36:17

锐捷GPU云桌面

2019-12-17 09:12:02

腾讯云TStack

2010-08-31 10:46:00

2023-08-09 17:10:01

论文获奖

2012-12-04 17:58:47

数据库审计系统莱克斯

2016-02-17 14:01:24

中国软件网

2021-06-25 14:24:12

安全防护
点赞
收藏

51CTO技术栈公众号