当今的科学研究中,计算已和实验、理论并列为三大科学方法。随着计算技术的迅猛发展、科学理论模型日渐成熟,高性能计算在科学、工程和社会等领域都有了愈加广泛的应用。在地球地质、气象气候、测绘科学、天体空间、凝聚态物理、高能物理、计算化学、分子生物学、基因测序、材料科学等领域,高性能计算已是必备的研究手段。
在物理、化学、生物、新材料等多个相关学科中,高校、科研机构能够利用高性能计算观察到比实验现象更细致的层次,或者对目前比较昂贵或无法实现的实验观测进行理论模拟,从而帮助解释实验结果,理解自然规律,进一步指导实验过程,大幅提高实验效率。
高性能计算中心可为网格技术、并行计算、海量数据处理、密码分析、虚拟现实与可视化技术等领域的研究提供优越的支撑环境。同时,为基础科学、材料科学、生命科学、环境科学等领域的研究提供国际水准的现代化科研环境。
山东大学、华为与联科围绕山东大学的高性能计算、云计算、大数据、深度学习及数据分析统计科研的需求,构建一个基于混合硬件架构、计算能力超过300TFOPS、存储能力超过1PB的计算平台,打造一个基于容器技术的有高性能计算能力的高校公共计算云平台的管理模式和应用服务体系。系统在2017年12月正式发布,以“硬件+软件+服务”的方式,大幅降低计算用户的使用门槛。
硬件架构:
软件架构:
山东大学联科云计算平台解决方案的优势:
硬件资源:
山东大学无论在科研实力还是在教育成果方面,都处于我国高等学府第一阶梯,也是此次世界一流大学建设的重点院校,其中数学和化学被评为“双一流”建设学科,山东大学入选我国双一流建设战略可谓实至名归,而且强大的科研实力与坚实的基础科研平台建设密不可分,其中高性能计算集群对于山东大学多个学科建设和科研工作推进功不可没。
传统高性能计算在气象、化学、物理等科学研究中应用颇多,但需要用户具有较高的计算机专业技能,以气象专业的研究生为例,通常学生需要在WRF这样专业的气象应用上进行学术研究,然而WRF是运行于Linux操作系统下,而且均以源代码方式发布。
因此,气象专业的学生不仅要掌握Linux系统的各种命令并熟练使用,还要学习安装中编译WRF所需要的各种依赖关系、编译器、数学库、并行环境。具体到每个学生的实践中,一个这样的研究工作可能要持续一年甚至更长时间,并且学生大部分时间并没有集中在自己的研究工作上,要建设“双一流”高校,学术科研及学校综合实力都要上升到新的层次,高性能计算平台也必须更加易用和高效。
为突破传统高性能计算平台的瓶颈,山东大学软件学院龚斌教授基于十几年的高性能计算集群的管理、维护经验,携手华为以及华为认证ISV联科集团,基于双方在高性能计算领域的丰富经验,同时利用前沿的云计算技术,容器技术、前端展示技术以及移动计算技术,建立创新、高效的公共计算云服务平台。
软件资源:
联科云计算平台CCMP让一个单一的资源池,能够提供三个“同时”:(1)同时弹性提供各种级别的计算需要(从单机应用到大规模并行计算);
(2)同时容纳不同的计算需求(从数据密集到计算密集,或需要使用不同的操作系统);(3)同时满足不同的用户习惯(从要求各种定制环境的自由度的专家用户,到要求便捷的按钮式使用的用户)。
CCMP是联科集团建基于多年在高性能计算集群管理和作业调度领域、高性能计算环境优化领域、共享资源管理领域、并行文件系统研发领域的成功经验而提出的,开创性解决思路,CCMP融合了先进的云计算技术,将计算中心的服务器、存储和网络资源统一池化,打破传统的单个用户占用物理资源的使用模式,将应用程序和操作系统以及硬件之间的强耦合关系进行解耦,结合自主研发的虚拟化技术,提高资源的利用率,将传统的计算中心使用的固化的计算环境改造成智能的、动态的、能够提供“三个同时”的计算环境。
联科云计算平台CCMP的核心理念是EaaS。EaaS是Environment as a Service(环境即服务)的简称。通过多年在HPC领域的开发和服务实践,我们认识到,由于现代计算需求的多择性,我们需要的不只是EaaS的E,PaaS的P,SaaS的S,更是一个包括软件、数据、输入输出渠道的环境(Environment)。通过对最终用户提供EaaS,CCMP无缝连接用户与计算资源,大幅降低使用计算技术解决各种问题的门槛。
联科云计算平台CCMP有完整的功能配套,实现了对云数据中心的资源监控、资源预警、生命周期管理、网络管理、分布式存储管理、云计算服务请求处理等功能。CCMP内核系统基于原生代码,相比传统云平台更加高效快速,可以同时管理虚拟机与物理机。CCMP可用于构建传统私有云数据中心,还可以搭建高性能计算平台以及大数据应用平台。可部署、管理物理服务器,申请高性能计算资源,可通过集群管理子系统对整个计算进行调度管理、作业提交以及计算资源的使用。
系统构造方面,CCMP通过X.509证书验证,保证了云系统内部服务器通信的保密性。
在山东大学联科云计算平台的EaaS环境中,每个用户都是环境的需求者,同时也是贡献者。平台为学校师生预构建好的计算环境,提供预先应用镜像和处理的科学领域数据,包括硬件和软件堆栈,并通过Web方式的交互界面,最大限度降低接入门槛。这意味着学生可以方便的申请到配置好的系统环境,甚至已经搭建好的应用环境。原本需要长期学习准备的时间被压缩到极致。
此外,高易用性方便使用者参与到平台的建设过程中,用户可以向平台贡献应用镜像、应用数据、应用服务,一同打造高效计算应用生态圈。山东大学联科云计算平台未来将成为数据共享、学术交流、教学实践与校园信息化统一的资源调度平台。
全文结束--