本文转载自微信公众号「企业存储技术」，作者唐僧 huangliang。转载本文请联系企业存储技术公众号。
从表面上来看，单路EPYC二代(代号ROMA)处理器就能提供128 lane PCIe 4.0，如果想直连24个U.2 NVMe SSD都不难。看上去这应该是个不错的存储服务器方案?因为直到代号Ice Lake-SP的第三代Xeon Scalable才开始将PCIe控制器升级到64 lane PCIe 4.0，不仅推出较晚，并且只有在双插槽时其I/O扩展性才接近AMD。
然而事实真的如此吗?挺早之前我就听朋友提到过，AMD服务器的SSD存储性能没有想象中那样好，但一直没拿到具体测试数字。直到最近看了Los Alamos National Laboratory(阿拉莫斯国家实验室)Brad Settlemyer的分享《Practical Computational Storage: Performance, Value, and Limitations》——里面的几页内容。
在米国能源部下属搞HPC，使用Lustre文件系统再正常不过了。本文讨论的性能对比，就是运行在Lustre OST节点底层的ZFS本地文件系统。
为什么上图中只有Intel平台标明了“双插槽”?我理解应该是因为AMD CPU核心足够多，并且其不跨插槽的I/O效率可能更好。
如上表，最高的虚线是RAW NVMe写性能，AMD第一代EPYC、第二代EPYC和Intel Xeon Platinum相差无几。
玩过ZFS的朋友可能知道，ZFS的Checksum(校验和)对文件系统数据完整性很有帮助，同时CPU消耗也不小。当测试ZFSw/Chenksum性能时，AMD第一代EPYC只跑到不到原始RAW NVMe SSD的一半(低于10,000MB/s);AMD第二代EPYC有较大改善，不同线程数最高的表现在15,000MB/s左右;而Xeon Platinum则能跑到更接近RAW NVMe写的水平。
然后是ZFS w/Chenksum+RAIDZ1和RAIDZ2，虽然理论上ZFS RAID的整条带写产生的惩罚较小，但性能有下降还在情理之中。Intel& AMD三款服务器平台的性能次序与前面的w/Chenksum基本保持一致。总体上Xeon Platinum的RAID开销比二代EPYC要小一点。
性能对比简要分析
测试结果没有列出更多硬件细节信息，我也只能粗略讨论下。是什么原因导致AMD服务器在这个存储软件测试的效率上低一些呢?我觉得一方面可能是PCIe I/O亲和作用，这一点在第一代EPYC时我曾提到过。虽然后来内存控制器和PCIe控制器都集中到I/O Die上了(如下图)，不过既然内存仍有片上NUMA效应，我想PCIe应该也是类似的情况。
听说Intel代号Sapphire Rapids的下一代Xeon Scalable也是多Die封装，到时有机会可以再留意下效果如何。
另一点就是Intel的软件生态，包括ISA-L在内的各种指令集。由于AMD服务器只是在近2-3年才重新崛起，传统存储软件历年的发展中对IntelCPU优化更好也是正常的。
由于R.A.S.的需求，数据中心里跑的企业级软件都会先求稳，宁可牺牲一些迭代速度;同时历史代码的传承和经验也非常重要。所以如今AMDEPYC还达不到桌面级ZenCPU的市场占有率，不过能看到“牙膏挤得更快”总不是个坏事情：)
参考资料https://www.snia.org/sites/default/files/PM-Summit/2021/snia-pm-cs-summit-Settlemyer-Practical-CS-2021.pdf
