4月7日，权威AI基准评测组织MLPerf公布了最新一期推理性能榜单。阿里云联合平头哥、达摩院等在数据中心、边缘计算、物联网领域斩获多项第一，展现出阿里AI算力的强大竞争力。
北京时间4月7日，MLCommons发布最新MLPerf榜单
MLPerf由图灵奖得主David Patterson于2018年发起，每年组织全球AI训练和AI推理性能测试并发榜，已成为业界最主流标准之一。本次榜单重点更新了面向数据中心和边缘计算的场景，以及最新的MLPerf Tiny 0.7测试榜单。
在当前激烈的数据中心和边缘计算场景下，各厂商及机构基于硬件加速的成绩差距并不大，竞争主要聚焦在模型软硬协同优化方面。最终，阿里云磐久服务器脱颖而出，成为MLPerf有史以来首个获得纯CPU推理性能最高的ARM架构服务器，且在数据中心和边缘侧该类别的总体性能均为第一。
MLPerf 2.0 DatacenterCPU-Only推理性能数据对比
据悉，阿里云震旦异构加速平台利用模型优化工具SinianML来进行用于AI任务的神经网络架构搜索和压缩，以及最佳算子实现。在保证达到基准测试精度目标同时，能得到远高于标准ResNet50 v1.5的计算效率。此外在MLPerf Tiny场景，阿里云通过大规模深度算子融合和针对平头哥玄铁RISC-V微架构的极致优化，从而能够大大提高CPU算力利用率，实现软硬协同优化。
Tiny场景是MLPerf近年新增的性能测试分类。有别于Datacenter等大规模、高算力的情景，Tiny聚焦于低功耗、高性价比的IoT场景，考验在日益广泛的IoT智能应用场景下的软硬件性能和优化能力。在此次公布的MLPerf Tiny 0.7性能数据榜单中，阿里云震旦异构计算加速平台通过编译和软硬件一体化创新优化，结合达摩院在语音和视觉等机器智能的算法知识，基于平头哥自研RISC-V玄铁C906处理器在所有4项Benchmark的CPU性能数据均取得第一，在满足模型精度要求的同时创造了RISC-V架构在该AI基准测试榜单上的最好成绩。
MLPerf Tiny 0.7 推理性能数据对比
不难发现，MLPerf正将评测环境更多地向云厂商倾斜，后者已成为AI产业的主力军。“高度集成的专业化AI芯片对应用场景限制很多，我们希望研发出更通用的软硬协同加速平台来发挥AI应用的价值，”阿里云异构计算首席科学家张伟丰博士表示。
