AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
怎么在大模型之上构建应用？构建人工智能上层应用的框架——langchain
原创“langchain，在大模型之上构建应用的脚手架”在大模型之上构建应用需要很多的步骤，比如文档加载，数据库读取，大模型加载，以及各个环节的连接等。因此，就有了langchain这个开发框架，它的功能就是把大模型开发过程中需要的常见问题整合在一块，方便开发者。当然，不使用langchain是否能构建上层应用？答案是可以，但会很麻烦。langchain官网地址：https:www.langchain.com01、什么是langchain简单来说，langchain是一款开发...langchain大模型大模型所谓的参数是什么？大模型为什么需要训练？大模型训练到底干了什么？
原创“大模型的本质是机器学习，机器学习的本质就是一种数学模型。”我们经常能听到这样的说法，某某大模型有多少参数，某某大模型参数量又提升了，这里所说的参数到底是什么？我们知道大模型是训练出来的，那么哪些训练数据都跑哪去了，大模型训练的过程中都干了什么？为什么大模型需要训练？01、大模型的参数到底是什么？我们知道大模型的发展从刚开始的几百个参数，到现在的上千亿个参数，比如GPT3就有一千七百多亿个参数。而随...大模型新RAG架构范式！DSPy将革命性改变RAG系统架构方式！！
原创1、什么是DSPy？DSPy（DeclarativeSelfimprovingLanguagePrograms(inPython)）是斯坦福大学NLP研究人员开发的"基础模型编程"框架。它强调编程而非提示词，旨在简化复杂语言模型应用的构建过程。DSPy允许开发者专注于应用程序的高级逻辑，同时抽象掉许多低级细节。DSPy包含多种技术，可以提示词和微调语言模型，改进其推理和检索增强。使用DSPy构建基于语言模型的应用程序的工作流程如下所示：DSPy框架预示着构建检索增强生成（R...RAGDSPyHippoRAG如何从大脑获取线索以改进LLM检索
原创译者李睿审校重楼知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步，但一些局限性仍然没有克服。俄亥俄州立大学和斯坦福大学的研究团队推出了HippoRAG，这是一种创新性的检索框架，其设计理念源于人类长期记忆系统中的海马索引理论。HippoRAG的引入使大型语言模型（LLM）应用程序能够更有效地集成动态知识，并更快、更准确地检索重要信息。HippoRAG在多跳（multihop）...LLMHippoRAG精准开大招！商汤发布首个可控人物大模型！分钟级、不失真，视频制作门槛要被砍没了！
原创编辑言征出品51CTO技术栈（微信号：blog51cto）视频生成赛道，商汤今天精准“开大”了！Sora、Luma等模型留给业界惊艳的同时，也甩给了无数后期剪辑的噩梦：好好的一个人物，动不动脸部就变形了，这魔法有点离谱，有时候，不可控就意味着不可用。就好比之前小编用Luma，生成一段“牛顿被苹果砸着头”视频，苹果树下的牛顿，远景和特写咋看都是两个人。难怪有人说让AI生成一张合适的人物表情，简直就需要“欧皇”的运气，抽到SSS...模型分钟级商汤Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型
原创 精华编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让Llama2和Llama3模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的表现差异，以及新一代模...LLMs大模型评估LlamaAI程序员LLM分布式预训练浅析
1）模型参数过大，如GLM130B模型参数需要520GB（130B4bytes）的显存，参数梯度为520GB，优化器状态需要1040GB，共计2096GB的显存，即使显存最大的GPU也放不下大模型的模型参数；2）即使可以将模型参数放在一张GPU上，对海量数据进行预训练也需要耗费很长时间，单卡如A100训练130B参数量的模型大约需要232年。分布式预训练技术，就是在这样的背景下应运而生，它允许模型在多个计算节点上并行训练，大幅度缩短了训练时间，本文总...分布式LLM策略解锁Diffusion Model: 初识Stable Diffusion、DALL-E、Imagen
原创扩散模型在生成高质量图像、视频、声音等方面表现突出。它们与物理学中的自然扩散过程相似而得名，自然扩散过程描述了分子如何从高浓度区域移动到低浓度区域。在机器学习的背景下，扩散模型通过逆转扩散过程来生成新数据。主要的思想是向数据添加随机噪声，然后反过来从噪声数据中推理和获取原始数据。“是先有雕像，还是先有石头，其实雕像已经早在石头里面！”1.DiffusionModelDiffusionModel（扩散模型）其实理解起来不难，...DALL-EStableImagenICML 2024高分论文 | 零阶优化器微调大模型，大幅降低内存
精华本文共同第一作者简介：张逸骅：密歇根州立大学计算机系博士三年级学生，师从SijiaLiu教授，主要研究方向是大模型的安全、隐私和效率问题。李平治：本科毕业于中国科学技术大学，将于2024Fall博士入学北卡罗来纳大学教堂山分校，师从陈天龙教授，主要研究兴趣集中在高效机器学习和AI4Science领域。洪骏远：德州大学奥斯汀分校博后，导师是ZhangyangWang教授。博士毕业于密歇根州立大学，师从JiayuZhou教授，目前主要的研究方向...模型LLM央视点赞国产AI复活召唤术，兵马俑竟与宝石老舅对唱Rap？
沉睡了两千多年的兵马俑，苏醒了？一句秦腔开场，将我们带到了黄土高原。如果不是亲眼所见，很多观众可能难以想象，有生之年还能看到兵马俑和宝石Gem同台对唱《从军行》。「青海长云暗雪山，孤城遥望玉门关。」古调虽存音乐变，声音依旧动人情：这场表演背后的「AI复活召唤术」，叫做EMO，来自阿里巴巴通义实验室。仅仅一张照片、一个音频，EMO就能让静止形象变为惟妙惟肖的唱演视频，且精准卡点音频中的跌宕起伏、抑扬顿挫。...AI技术CVPR`24 | 又快又好！渲染速度比ENeRF快30倍！4K4D:实时4K分辨率4D视图合成
文章链接：https:arxiv.orgpdf2310.11448git链接：https:zju3dv.github.io4k4d本文旨在实现动态3D场景在4K分辨率下的高保真和实时视图合成。最近，一些动态视图合成方法在渲染质量方面表现出色。然而，在渲染高分辨率图像时，它们的速度仍然有限。为解决这个问题，本文提出了4K4D，一种支持硬件光栅化的4D点云表示，能够实现前所未有的渲染速度。本文的表示基于4D特征网格构建，因此点云被自然地正则化并可以进行稳健优化。此外...4D生成海报生成如此简单！OPPO联合港中文发布基于LLM的端到端方案GlyphDraw2
文章链接：https:arxiv.orgpdf2407.02252github链接(待开源)：https:github.comOPPOMenteLabGlyphDraw2海报在营销和广告中起着至关重要的作用，通过增强视觉传播和品牌知名度，对工业设计有着显著贡献。随着可控文本到图像扩散模型的最新进展，更简洁的研究现在集中在合成图像中的文本渲染上。尽管文本渲染的准确性有所提高，端到端的海报生成领域仍然探索不足。这项复杂的任务涉及在文本渲染准确性和自动布局之间取得平衡，以...端到端生成一大堆Chinese Llama3正在袭来
写在前面大家好，我是刘聪NLP。Llama3模型已经开源，可以就在这短短的两天之内，就出现了很多ChineseLlama3repo，开源社区也是相当的卷。再看到Llama3相关报告的时候，就预料到会有很多ChineseLlama3，因为Llama3对中文十分不友好，15TTokens的训练数据，仅有5%（750BTokens）是其他语言，那么中文就更少了。当时还抖激灵，说先开个repo占个坑（其实是想做但没卡）很多网友们测试，也发现Llama3能力很强，可以理解中文问题的意...Llama3训练中文测试Excp & FastPersist：数十倍 LLM Checkpoint 保存加速和压缩
一、背景在LLM的预训练过程中，通常会不断地保存Checkpoint，主要有以下几个好处：中断恢复：在大规模训练中，硬件故障和偶然的软件故障是不可避免的。通过保存Checkpoint，可以在发生异常时恢复训练，避免从头开始。进度管理：LLM需要评估的指标很多，但通常不会在模型训练中实时评估，而是通过保存Checkpoint进行离线评估。这有助于评估模型是否朝着正确的方向发展。增量学习：保持Checkpoint也为后续的增量学习和迁移学习提...LLM预训练压缩大语言模型知识冲突的综述
精华一、结论写在前面论文来自：清华大学，西湖大学，香港中文大学论文标题：KnowledgeConflictsforLLMs:ASurvey论文链接：https:arxiv.orgpdf2403.08319论文广泛探讨了知识冲突，阐明了其分类、成因、LLMs对这些冲突的响应方式及可能的解决方案，强调了在融合上下文知识和参数知识时所遇到的复杂挑战。论文的研究重点是三类知识冲突：上下文记忆冲突、跨上下文冲突和内存内冲突。这些冲突显著影响LLMs的可信度和性能，特别...语言模型LLMs大学生完败！AI作答心理学本科题目得分领先！
近日，雷丁大学的研究团队通过一项创新研究发现，人工智能工具ChatGPT在大学考试中不仅表现出色，而且其得分竟然超过了真实学生。这一研究利用ChatGPT为心理学本科课程的考试生成答案，结果不仅显示AI的平均分数超过了学生，而且还引发了对现代教育评估方式的深刻思考。AI优异表现背后的深意研究团队设计了33个虚拟学生身份，让他们通过ChatGPT来完成考试。惊人的是，AI的表现比真实学生高出半个等级。其中94%的AI答卷没有引起...AI心理学题目AUTODETECT：面向大规模语言模型中自动弱点检测的统一框架
原创 精华摘要：尽管大规模语言模型（LLMs）变得越来越强大，但它们仍然表现出显著但微妙的弱点，如在执行指令或编写代码任务中的错误。由于这些意外错误在实际部署中可能导致严重后果，系统性地研究LLMs的局限性至关重要。传统的基准测试方法无法彻底pinpoint具体的模型缺陷，而手动检查则成本高且不可扩展。在本文中，我们介绍了一个统一框架，AUTODETECT，以自动揭示LLMs在各种任务中的弱点。受教育评估过程（衡量学生学习成果）的启...大模型如你所说的抓取：基于语言指导的灵巧抓取生成
原创 精华摘要：本文探讨了一项新颖任务“如你所说的灵巧抓取”（DexGYS），使机器人能够根据以自然语言表达的人类指令执行灵巧抓取。然而，这一领域的发展因缺乏具有自然人类指导的数据集而受到阻碍；因此，我们提出了一个基于语言指导的灵巧抓取数据集，名为DexGYSNet，提供高质量的灵巧抓取注释以及灵活和细致的人类语言指导。我们的数据集构建具有成本效益，采用精心设计的手物体交互重定向策略和大语言模型辅助的语言指导注释系统。...大模型机器人数据集SEED-Bench：基于生成理解的多模态大语言模型基准测试（CVPR2024）
原创摘要：基于强大的大语言模型（LLMs），最近的生成型多模态大语言模型（MLLMs）作为一个重要的研究领域，展示了在理解和生成方面的显著能力。在这项工作中，我们引入了一个名为SEEDBench的基准测试，以评估MLLMs的生成理解能力，作为对生成模型进行全面评估的初步步骤。SEEDBench包含19,000道多项选择题，配有精确的人类标注（是现有基准的6倍），涵盖了包括图像和视频模态理解在内的12个评估维度。我们开发了一个先进的流程，用...大模型多模态数据集基于开源AI数据框架LlamaIndex构建上下文增强型LLA应用
原创译者朱先忠审校重楼引言“将你的企业数据转化为可用于实际生产环境的LLM应用程序，”LlamaIndex主页用60号字体这样高亮显示。其副标题是“LlamaIndex是构建LLM应用程序的领先数据框架。”我不太确定它是否是业内领先的数据框架，但我认为它是一个与LangChain和SemanticKernel一起构建大型语言模型应用的领先数据框架。LlamaIndex目前提供两种开源语言框架和一个云端支持。一种开源语言是Python；另...人工智能LLM
