AI.x社区

TorchServe是PyTorch中将模型部署到生产环境的一个解决方案。它用HTTP或HTTPSAPI封装模型，可以处理多种任务，包括为部署模型分配workers、负责客户端和服务器之间通信等。10月份发布的TorchServe0.12增加了对GenAI的支持，简化了大语言模型的部署，增加了对主流模型引擎的内置支持，如vLLM和TRTLLM。vLLM引擎是目前执行LLM的最佳方式之一，TorchServe为vLLM部署到生产环境中提供了必要的一些功能，比如自定义metric、模型版本...

存储系统在分布式LLM训练中扮演着关键角色，需要满足几个关键要求。应与GPU的计算能力相匹配，以最大限度地利用其性能，避免因存储瓶颈造成的资源浪费。应支持大规模结构化和非结构化训练数据集的存储，并在分布式处理环境中具备可扩展性。模型checkpoint的存储和检索在LLM训练中也带来了挑战，需要系统满足模型大小和训练时长所决定的读写带宽要求。满足传统企业级要求，例如数据保护、高可用性和安全性。本文参考了论文Llama3...

在过去的十年中，CUDA已经成为深度学习模型推理领域的核心技术。NVIDIA的CUDA技术优化了GPU的性能，提高了数据处理的速度和效率。然而，CUDA的主导地位也带来了对NVIDIA硬件的依赖，这限制了在非NVIDIA平台上进行高效推理的可能性。为了应对这一挑战，近年来，开源社区和企业开始寻求开发不依赖于特定供应商的推理技术。Triton的崛起OpenAI开发的Triton编程语言应运而生，旨在为广泛的硬件设备提供高效的并行编程方式。它允许开...