2025年2月20日，经过vLLM社区与昇腾的持续合作和共同努力，vLLM开源社区已官方支持昇腾，并创建vLLM Ascend这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行vLLM，开发者可通过vLLM调用昇腾进行模型适配。
图注：vLLM社区创建了vllm-project/vllm-ascend项目提供昇腾的官方支持
vLLM Ascend使能vLLM在昇腾平台进行大模型推理，包含以下多个特征：
支持多种模型类型，满足多样化需求
vLLM Ascend原生支持 稠密LLM、稀疏Mixture-of-Expert（MoE）、多模态等在内的主流开源大模型类型，如Qwen系列、Llama系列、DeepSeek系列等。这意味着开发者可以在昇腾平台无缝运行各类大语言模型，并且可基于vLLM进行增量特性开发，满足不同的应用场景和性能需求。
与社区共同打造大模型极致推理性能，充分释放昇腾算力
vLLM Ascend即将在昇腾平台支持vLLM多个高阶特性，如请求调度算法chunked prefill，大模型分布式并行策略 Tensor Parallelism (TP)、Pipeline Parallelism (PP)，投机解码speculative decoding等，开源社区最新加速能力平滑迁移，支持昇腾平台高性能推理。
全面的社区支持，让开发更简单
用户可以通过以下途径，快速学习和使用vLLM Ascend，包括：
● 快速开始：快速开始教程详细地说明了如何开始使用vLLM Ascend。
● 用户指南 ：提供了模型支持、特性支持等关键内容。
● 开发者指南 ：通过贡献指南、版本发布策略等文档为开发者提供了重要参考。
● 社区讨论：开发者可以在社区充分交流分享，一起解决问题。
开始您的尝鲜之旅
无论是AI领域的资深开发者，还是刚入门的技术爱好者，vLLM Ascend都将为您提供一个高效、灵活的开发平台。立即开始您的尝鲜之旅，感受昇腾NPU与vLLM框架结合的魅力，共同探索大语言模型的无限可能！
现在就可以访问以下链接开始您的尝鲜之旅：
● 代码仓库 ：https://github.com/vllm-project/vllm-ascend
● 文档中心 ：https://vllm-ascend.readthedocs.io/en/latest/
● 快速开始 ：https://vllm-ascend.readthedocs.io/en/latest/quick_start.html
● 安装指南 ：https://vllm-ascend.readthedocs.io/en/latest/installation.html
● 版本说明：https://vllm-ascend.readthedocs.io/en/latest/user_guide/release_notes.html
欢迎加入我们，携手共建vLLM Ascend开源项目
大模型推理服务框架vLLM是LF Data & AI基金会孵化项目，因其在大型语言模型 (LLM) 推理和服务中的高吞吐量、内存高效等特点，在开源社区广受欢迎。华为是LF Data & AI基金会创始高级会员，同时也是vLLM社区的支持者和积极贡献者，华为坚持“硬件开放，软件开源，使能伙伴，发展人才”的理念，携手社区共同推进多样性算力支持改进，积极致力于vLLM优化，从而充分释放昇腾硬件的算力。
vLLM Ascend是一个使用Apache 2.0协议的开源项目，我们诚邀每一位开发者加入我们，贡献你的智慧，一起探索和贡献更多创新功能。
