AI.x社区

我想做一个尝试，看看能不能用尽量清晰的逻辑，给“AI外行人士”（当然，我也是）引入一下LangChain，试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册，本意是希望帮助需要的同学实现AI工程的Bootstrap。文中所有的示例代码都已托管到GitHub：https:github.comTuGraphcontriblangchaindemo，喜欢实操的小伙伴可以边阅读，边复现。一、引言1.1什么是LangChain？正式开...

1、背景RTPLLM是阿里巴巴大模型预测团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。该引擎与当前广泛使用的多种主流模型兼容，并通过采用高性能的CUDA算子来实现了如PagedAttention和ContinuousBatching等多项优化措施。RTPLLM还支持包括多模态、LoRA、PTuning、以及WeightOnly动态量化等先进功能。随着大模型的广泛应用，如何降低推理延迟并优化成本已成为业界关注的焦点。我...

今天给大家带来的话题是AIGC趋势下的软件工程重塑。今天这个话题主要分为以下四大部分。第一部分是AI是否已经成为软件研发的必选项；第二部分是AI对于软件研发的挑战及智能化机会，第三部分是企业落地软件研发智能化的策略和路径，第四部分是我们现有的可采纳的、可落地的工具，在这一部分我也会重点介绍通义灵码整体的产品能力和概况。01、AI已经成为软件研发的必选项这张图是麦肯锡最近发布的一个研究报告，大家可以看到他把...

我在这里想向大家介绍1688严选和商品品质化之旅。去年，我们推出了1688严选，面临的挑战是如何让买家相信我们的商品真的经过了严格的筛选。为了解决这个问题，我们定义了“严选”标准，并运用AIGC技术规模化生产和投放品质化商品主图，以提高买家的信任度。尽管我们面临图源质量、合图标准和流程自动化等挑战，但我们通过技术创新和优化流程，大幅提升了效率，如今能每天快速制作高达几万张品质主图，为1688商人节大规模投放做...

一、背景时间步入了2024年，新的技术趋势，如大模型AIGC多模态等技术，已经开始与实际业务相结合，并开始生产落地。这些新的技术趋势不仅提高了算力的需求，也给底层基础设施带来了更大的挑战。在计算方面，以GPU和FPGA等异构硬件为例，他们通过短周期的迭代和演进来适应不断变化的需求。阿里集团通过统一调度、统一资源池以及全面弹性等调度手段满足了复杂的计算需求。在存储方面，经典的微服务应用通过云原生化的方式，兼顾了...

01、引言LoRA(LowrankAdapter)在大模型（如GPT3，LLama,Qwen等）中，是一种重要的微调技术。该技术通过在不改变预训练模型参数的同时，添加低阶矩阵，学习新的、特定于任务的参数。这种微调方式不仅维持了模型的高效性能，也显著提升了模型训练和部署的效率。然而当对basemodel进行规模化多任务微调时，相关部署成本可能会显著增加。基于实际应用场景，成本和效率考虑，我们在RTPLLM框架上实现了两种LoRA方法：静态LoRA和动态Lo...

01、前言从2022年底chatGPT的一炮走红开始，基于大语言模型的对话应用如雨后春笋一般全面开花。刚刚过去的2023年是千帆竞发的一年，在这一年里我们见证了百模大战，开源模型社区可谓繁荣昌盛：从llama到它的无数变体、qwen系列的完整中文大模型生态构建、Mixtral等多模态的成功尝试、再到llava等视觉大语言模型的蓄势待发。在语言模型上，我们已经有了十分丰富的选择，这些模型在RTPLLM上都得到了较好的支持，可以高效地完成推...

01Havenask介绍Havenask是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景。在2022年云栖大会云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索OpenSearch底层搜索引擎，OpenSearch自2014年商业化，目前已有千余家外部客户。02向量检索近年来，随着短视频、电商等领域的繁荣，产生了越来越多的非结构化数据，如图片、...