AI.x社区

一、背景Deepseekr1模型的爆火标志着本地部署大模型的需求日益增长。本文主要探讨如何优化本地部署大模型的性能，并结合我们的实践进行评测分析，文章最后我们将分享如何在本地高效部署满血版Deepseekr1大模型。在生产环境中，我们已部署专用的大模型推理集群，并对其性能进行了全面优化。对于大模型推理来说，性能优化主要聚焦于两个关键指标：吞吐量与响应时间(RT)。吞吐量传统上，我们用每秒请求数（QPS）来衡量吞吐量，即系...

一、背景得物开放平台是一个把得物能力进行开放，同时提供给开发者提供公告、应用控制台、权限包申请、业务文档等功能的平台。面向商家：通过接入商家自研系统。可以实现自动化库存、订单、对账等管理。面向ISV：接入得物开放平台，能为其产品提供更完善的全平台支持。面向内部应用：提供安全、可控的、快速支持的跨主体通讯。得物开放平台目前提供了一系列的文档以及工具去辅助开发者在实际调用API之前进行基础的引导和查询。...

一、背景得物开放平台是一个把得物能力进行开放，同时提供给开发者提供公告、应用控制台、权限包申请、业务文档等功能的平台。面向商家：通过接入商家自研系统。可以实现自动化库存、订单、对账等管理。面向ISV：接入得物开放平台，能为其产品提供更完善的全平台支持。面向内部应用：提供安全、可控的、快速支持的跨主体通讯。得物开放平台目前提供了一系列的文档以及工具去辅助开发者在实际调用API之前进行基础的引导和查询。...

如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。一、背景近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。本文将介绍我们如何利用多Lora技术，将多个场景合并部署，从而有效解决这一问题。同时...

随着得物业务的快速发展，积累了大量的时序数据，这些数据对精细化运营，提升效率、降低成本有着重要作用。在得物的时序数据挖掘场景中，时序预测Prophet模型使用频繁，本文对Prophet的原理和源码进行深入分析，欢迎阅读和交流。一、引入时间序列是指按照时间先后顺序收集或观测的一系列数据点，这类数据通常都具有一定时间相关性，基于这种顺序性，我们可以对时间序列进行多种数据挖掘任务，包括分类、聚类、异常检测和预测等...

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。OpenAI的科学家HyungWonChung在2023年的公开演讲《LargeL...

一、背景电商供应链的系统建设一般偏向于数据管理类型，但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高（相对研发成本而言），特别是一些简单加减字段的诉求沟通成本甚至达到50%以上，如何将这部分沟通成本降低下来，并保证高质量的交付成为目前亟待解决的问题。经过对需求和系统页面进行分析，我们得出如下数据：供应链≤2人日的需求投入工时占接近50%，两周的迭代周期，一个前端甚至能接到10+需求，时间碎片...

OpenAI发布的视频生成模型Sora(https:openai.comsora)，能根据文本生成长达一分钟的高质量视频，理论上支持任意分辨率，如1920x1080、1080x1920，生成能力远超此前只能生成25帧576x1024图像的顶尖视频生成模型StableVideoDiffusion。一起公布的，还有一篇非常简短的技术报告，报告大致介绍了Sora的架构及应用场景，并未对模型的原理做过多的介绍。技术报告链接：https:openai.comresearchvideogenerationmodelsasworldsimulator...