欧洲核子研究中心(CERN)成立于1954年,是世界上***的粒子物理学实验室,主要业务是探索宇宙本源,促进人类进步,培养下一代科技接班人。CERN有22个成员国,主要来自欧洲,合作伙伴遍布全球机构和院校,大约1.2万来自70国家和105不同国籍的科学家来到CERN从事研究, 这是世界上一半的粒子物理学家。2012年,闻名世界的希格斯玻色子(俗称“上帝粒子”)就是在CERN的大型强子对撞机(LHC,Large Hadron Collider)实验中发现的。
近日,CERN IT部门的资源管理团队负责人Jan van Eldik在2017华为全联接大会(HUAWEI CONNECT 2017)上,介绍了CERN正在采用的一些方法,应对未来其实验产生的快速增长的数据洪流。
图1 Jan van Eldik 在Huawei Connect 2017上发言
海量数据的源头
CERN拥有大型强子对撞机LHC——世界上***的粒子加速器。LHC是一个全长27公里的环(如下图),位于瑞士日内瓦近郊,贯穿瑞法边境。LHC把环超导磁体安装在地下100米,创造出比地球磁场强10万倍以上的磁场,在抽成真空的磁体管道里,粒子被加速到接近光速的水平,在4个大型实验的粒子探测器里进行碰撞:ATLAS, CMS, ALICE, LHCb。
在大型强子对撞机实验的探测器中,每秒可进行多达10亿次的粒子对撞,我们不可能读出所有这些事件,因此“Trigger(触发)”系统用于层层过滤数据,并选择那些对进一步分析有潜在价值的事件。
这些操作产生的数据随后通过全球LHC计算网格(WLCG,World LHC Computing Grid)的系统从CERN数据中心分发到42个国家的170个计算中心。在撰写本文时,CERN数据中心已经在磁带上存储了超过200 PB的数据,预计每月增加PB级的新数据。
图2. LHC与其试验场景
为什么选择公有云
自2013年以来,CERN部署了一个基于OpenStack的私有云,用于管理位于瑞士梅兰(Meyrin)的主数据中心资源,以及位于匈牙利布达佩斯的远程扩展数据中心。今天,这朵私有云包括大约10,000台双CPU服务器,约300,000个处理器内核,服务于约3600个项目,包括高密度计算,物理数据分析和虚拟服务配置。
计划升级LHC及在CERN进行的更多实验,意味着对计算和存储的需求将大大增加。例如,当LHC的后继者,高亮度LHC在2026年上线的时候,ATLAS和CMS的实验期望收集和重建的碰撞事件比现在多5到10倍。使用当前的软件,硬件和分析技术,所需的计算能力预计比现在高出大约50-100倍。到那时,数据存储需求预计将达到EB级(1EB=109G)。
简单地按ICT新增资源量来等比增加预算,以缩小“资源缺口”是不现实的。为确保资源利用的***效率,探索新技术和方法至关重要,目前正在研究的一种方法是采用混合模式,在内部资源不够的情况下,CERN可以使用商用的云服务资源来动态扩展其内部资源。
携手Open Telecom Cloud 来应对未来挑战
目前CERN正在通过Helix Nebula(“螺旋星云”)项目来进行公有云试点。今年早些时候,三家公司通过公开竞标被选中进入了“原型阶段”。
其中一家就是基于OTC(Open Telekom Cloud)提供解决方案。OTC是由德国电信和华为共同构建的公共云平台,华为提供基于OpenStack的架构并支持相关的解决方案。在“原型开发”阶段,OTC已经在科学计算领域向CERN交付了HPC公共云解决方案,部署了数千个HPC节点,并分析了高能粒子碰撞的结果。
“OTC***的优点是基于OpenStack,架构与CERN现有的私有云相同,这意味着它可以灵活动态地扩展CERN的内部资源。”Eldik说。
CERN与华为都是OpenStack开源项目的贡献者,同时,华为还是OpenStack基金会的铂金会员,未来CERN与华为将在OpenStack领域进行更多的深度技术合作
“通过CERN openlab项目,我们已经开始共同努力改进OpenStack,尤其是在大规模运行OpenStack的时候......这将允许OpenStack社区的每个人都从这些社区的努力中受益,我对这些特别的项目非常兴奋,我期待在未来几年看到它们在CERN的云中开花结果,“Eldik先生补充说。