AI.x社区

摘要本文针对安全多方计算（MPC）框架下通用矩阵乘法（GEMM）运算的性能瓶颈，提出一种全新的MPCGEMM实现方案。该方案的核心思想在于：基于加法秘密共享重构DeepSeekDeepGEMM的CUDAkernel，将MPC协议的逻辑与DeepGEMM的底层优化深度融合，消除MPC协议与GPU计算之间的“两张皮”现象。方案采用INT8FP8数据表示、秘密共享运算的kernel级实现、Hopper架构优化（如适用）、GPU并行Beaver三元组生成以及JIT编译等关键技术。本文将详...

引言：测试时计算扩展的兴起与挑战近年来，大型语言模型（LLMs）在自然语言处理领域取得了举世瞩目的成就，其性能的飞跃在很大程度上得益于大规模自监督预训练和不断增长的模型规模。然而，模型规模的不断扩大也带来了训练成本和计算资源需求的急剧增加，这使得进一步提升模型性能变得越来越困难。为了在不进一步增加模型规模的前提下提升性能，一种新的范式——测试时计算扩展（TestTimeComputationExtension）——应运而生。...

1.深度学习的算力饥渴与HPC的成本困境深度学习的浪潮，正以势不可挡的姿态席卷而来。从图像识别领域的AlexNet和ResNet，到自然语言处理领域的Transformer，再到如今参数规模动辄千亿、万亿的大型语言模型(LLM)，如GPT3和PaLM，以及混合专家模型(MoE)和多模态模型，深度学习模型的能力在不断突破，但其背后对计算资源的需求也呈现出爆炸式的增长。高性能计算(HPC)集群，作为支撑深度学习训练的基石，其重要性日益凸显。然而，传...

1.引言人工智能(AI)正迅速渗透到我们生活的方方面面，并在各个领域展现出巨大的潜力。尤其是在信贷、住房和医疗等高风险领域，AI驱动的自动化决策(ADM)系统正发挥着越来越重要的作用。这些系统能够高效地处理海量数据，并根据预设算法做出决策，从而提高效率、降低成本。然而，ADM系统的广泛应用也引发了人们对其透明度和问责制的担忧。由于许多ADM系统基于复杂的机器学习模型，例如深度神经网络，其决策过程往往难以理解，甚至...

1.引言近年来，随着深度学习技术的飞速发展，人工智能(AI)在诸多领域取得了突破性进展。然而，传统的深度学习模型在处理需要复杂推理的任务时仍然面临挑战。例如，在面对数学题、逻辑谜题或科学问题时，简单地依靠模式识别和函数拟合难以获得令人满意的结果。为了解决这个问题，研究人员开始探索将深度学习与符号推理相结合，从而赋予AI系统更强的推理能力，即慢思考推理。慢思考推理强调对问题进行深入分析和逐步求解，而非仅...

1.引言近年来，大型语言模型（LargeLanguageModels,LLMs）的参数规模呈现指数级增长趋势，展现出强大的通用智能，在众多自然语言处理任务上取得了突破性进展。然而，这些庞大的模型也伴随着高昂的训练成本、巨大的计算资源需求以及难以部署等问题，极大地限制了其广泛应用。为了解决这些问题，业界开始探索更加高效、轻量化的模型架构和训练方法。在这样的背景下，微软研究院机器学习基础团队另辟蹊径，推出了一系列名为“Phi”...