AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
大模型技术细节——大模型之文本生成与文档总结
原创“大模型就是一个黑盒，盒子外面的人一直在雾里看花”我们一直在说大模型大模型，但大部分人都没深入研究过大模型的具体实现以及隐藏在大模型这个黑盒下的技术细节。思考个问题，根据要求让大模型生成一段文字和给大模型一个PDF文本，让它总结文本内容，这两种方式是同一种大模型吗？文本生成大模型和文档总结大模型很多人都简单的认为，生成文本的模型和进行文档总结的模型是一回事，都属于文本处理模型。因为从使用者的角度来...生成式AI人工智能应用大模型的分类——生成式大模型和判别式大模型联系与区别
原创“明白模型的类型，才能明白模型的应用”在学习机器学习的过程中，生成式模型和判别式模型是两个经典类型的模型，弄明白两者之间的联系与区别是一个非常重要的事情，也会加深对大模型的理解。那么什么是生成模型和判别模型呢？生成式模型和判别式模型的区别与联系生成式模型和判别式模型是两种不同的机器学习类型，它们之间具有不同的目标和应用场景，很重要的一点是不论生成式模型还是判别式模型，都是基于监督学习的机器学习...大模型生成式AI人工智能应用实践出真知：Agents 领域“一年打怪升级”的经验分享
原创 精华编者按：在你构建AIAgents时，是否曾遇到这些困扰：总是在简单任务上出错，从而让你有时会怀疑自己的技术水平？面对客户的需求，AIAgent表现得像个“笨蛋”，无法准确理解和执行指令？随着底层模型的更新，AIAgents的性能不升反降，让人手足无措？这些问题不仅影响了AIAgents的性能，甚至可能导致项目延期、成本超支，甚至失去客户的信任。在AI技术飞速🚀发展的今天，任何一个表现不佳的Agents都可能很快被市场淘汰。今天我们分...AI AgentsLLMsStability.ai开源3D模型，仅需0.5秒就能快速生成
著名开源大模型平台Stability.ai开源了3D生成模型——StableFast3D（以下简称“SF3D”）。用户通过图片仅需0.5秒就能快速生成高质量3D模型，还包括UV展开网格、材质参数、具有减少照明烘焙的反照率颜色，以及可选的四边形或三角形重网格等，这也是目前最快的3D生成模型。开源地址：https:github.comStabilityAIstablefast3dhuggingface：https:huggingface.costabilityaistablefast3d在传统的3D重建模型中，变换器通常输出较低...模型生成超越DiffEdit、SDEdit等6大编辑模型！字节等提出人像服饰、卡通表情编辑新SOTA！
精华文章链接：https:arxiv.orgpdf2407.20455亮点直击：一种数据生成技术，提供了具有更好身份和布局对齐的配对数据；一种多条件扩散模型，能够生成保留特征的结果，并在推理中提供准确的编辑mask指导；实现了最先进的人像编辑效果。现有的技术在进行人像编辑时面临挑战，难以保留主体特征（如身份）。本文提出了一种基于训练的方法，通过自动生成的配对数据来学习所需的编辑，同时确保保留未更改的主体特征。具体来说，本文设计了...模型生成如何拯救LoRA初始化？LoRA-GA：性能显著提升+收敛速度更快！
文章链接：https:arxiv.orgpdf2407.05000亮点直击提出了LoRAGA，一种新颖的LoRA初始化方法，通过近似低秩矩阵的梯度与全权重矩阵的梯度来加速收敛。确定了在非零初始化下的缩放因子，该因子确保适配器输出的方差不受适配器的秩和输入维度的影响。通过广泛的实验验证了LoRAGA，证明了与原版LoRA相比，其性能显著提升且收敛速度更快。具体而言，LoRAGA在T5Base的GLUE子集上比LoRA提高了5.69%，在Llama27B上在MTbench、GSM8K和Huma...模型训练阿里「轨迹可控版Sora」，告别「抽卡」，让视频生成更符合物理规律
目前，扩散模型能够生成多样化且高质量的图像或视频。此前，视频扩散模型采用UNet架构，主要侧重于合成有限时长（通常约为两秒）的视频，并且分辨率和纵横比受到固定限制。Sora的出现打破了这一限制，其采用DiffusionTransformer（DiT）架构，不仅擅长制作10到60秒的高质量视频，而且还因其生成不同分辨率、各种纵横比、且遵守实际物理定律的能力而脱颖而出。可以说Sora是DiT架构最有利的证明，然而，基于Transformer的扩散模型...视频生成AI如何检测并尽量减少AI模型中的幻觉？
原创我们几乎每天都会听到关于更广泛地成功实施AI工具的故事。随着ChatGPT、Midjourney及其他模型向公众开放，越来越多的人开始在日常生活中依赖AI。虽然机器学习算法很明显能够满足更具挑战性的需求，但它们还不够完美。AI频繁出现的幻觉问题阻碍它们成为人类最可靠的替代者。虽然对于普通用户来说，AI错误只是一笑了之的小故障，但对于业务流程来说，这种不可预测性可能导致各种后果，轻则失去客户信任，重则官司缠身。一些国家已...AI模型LLMAI幻觉Agent Planning大揭秘：轻松拿捏多计划选择！
在人工智能的世界里，我们经常面临一个挑战：如何让机器像人类一样，面对复杂任务时，能够生成多种可能的解决方案，并从中选择最优的计划呢？这正是“多计划选择”（MultiPlanSelection）要解决的问题。今天，咱们就来聊聊这个有趣的话题。首先，想象一下，如果我们的智能Agent面对一个复杂的问题，它可能会生成多个计划。但是，这些计划可能各不相同，甚至有些可能根本不可行。这时候，多计划选择就派上用场了。它包括两个主要...Agent智能节点亚马逊 RAG 新突破：REAPER 技术开启大型智能对话助手新境界
Rufus：亚马逊新一代智能购物助手今年2月份，亚马逊在新一代大语言模型和RAG技术的赋能下，推出了新的智能购物助手：Rufus。Rufus能够解答顾客关于购物需求、产品对比等问题，并基于这些信息提供建议，帮助顾客发现产品。Rufus采用了RAG（检索增强生成）框架，通过大型语言模型（LLM）结合一个或多个检索来源的证据来生成对顾客查询的回应。作为一个复杂的对话系统，Rufus覆盖了非常多的用户关心的领域，因此必须从庞大的数据存...亚马逊RAG智能LLM 推理的 Attention 计算和 KV Cache 优化：PagedAttention、vAttention 等
一、背景最近，SGLang引起了广泛关注，出现了许多“SGLang吊打vLLM和TRTLLM”的言论。不得不说，SGLang确实是一项非常出色的工作。与此同时，vLLM的性能问题和TRTLLM的易用性问题也广受诟病，但是在实际应用中，我们仍然需要保持理性。比如，已经使用了LMDeploy或TRTLLM，是否要在当前阶段切换到SGLang；SGLang在对应的场景是否一定有这么大的提升？不过，本文中并非要介绍SGLang，而是旨在探讨vLLM的基石——PagedAttention的...LLMKV计算OpenDevin：一个面向通用型Agent AI软件开发者的开放平台
一、结论写在前面Codehttps:github.comOpenDevinOpenDevinBenchmarkhttps:hf.cospacesOpenDevinevaluationSlackhttps:bit.lyOpenDevinSlack论文标题：OpenDevin:AnOpenPlatformforAISoftwareDevelopersasGeneralistAgents论文链接：https:arxiv.orgpdf2407.16741软件是论文人类拥有的最强大的工具之一；它使熟练的程序员能够以复杂而深刻的方式与世界互动。同时，得益于大型语言模型（LLMs）的...AI软件开发者一篇模块化RAG之最新全面系统性综述
RAG访问外部知识库增强了LLMs处理知识密集型任务的能力，随着应用场景需求的增加，RAG系统变得更加复杂。传统的RAG依赖于简单的相似性检索，面对复杂查询和变化多端的文本块时表现不佳：对查询的浅层理解、检索冗余和噪声。朴素RAG和高级RAG的案例。面对复杂问题时，两者都遇到了限制，难以提供令人满意的答案。尽管高级RAG通过分层索引、检索前和检索后的过程提高了检索精度，但这些相关文档并没有被正确使用。提出了一种新的...RAGLLMsRAG第一人称基础模型——情感与生理数据在AI中的应用
精华传统的基础模型，如ChatGPT和DallE，通常基于大量互联网数据进行训练。这些数据包括文本、图像和音频，通常通过公共数据存储库（如CommonCrawl）获取。尽管这些模型在生成内容方面表现出色，但它们缺乏对人类情感和生理反应的真实模拟。因此当前的基础模型只能在表面上近似人类行为，而无法深入理解和模拟人类的情感和生理状态。情感和生理状态在我们的决策和行为中起着核心作用。Damasio的体标记理论和Goel的系绳理性理论都强...AI模型Chat-GPT基于Llama3，为本地文件创建生成式AI搜索引擎
精华本文分享一个开源项目——一款创新的生成式搜索引擎，能够实现用户与本地文件的智能互动。此项目在微软Copilot等现有工具的基础上，推出了一种开放源代码的替代方案，旨在推动技术共享与创新。1系统设计为构建本地生成式搜索引擎或助手，需要几个组件：内容索引系统：负责存储本地文件内容，并配备信息检索引擎，以便高效地搜索与用户查询或问题最相关的文档。语言模型：用于分析选定的本地文档内容，并据此生成精炼的总结性答...Llama3AI搜索引擎“年轻的”IMO选手：扫荡“围棋”后，开始扫荡“数学”
原创谷歌称著名数学家蒂莫西·高尔斯爵士（SirTimothyGowers）和约瑟夫·迈尔斯（JosephMyers）博士使用国际海事组织（IMO）的官方规则对人工智能模型的解决方案进行了评分。该公司报告称，其组合系统获得了42分中的28分，略低于29分的金牌门槛。AlphaProof解决了两个代数问题和一个数论问题，而AlphaGeometry2解决了几何问题。这包括在比赛中最难的问题上获得满分，谷歌声称今年只有五名人类参赛者解决了这个问题。图表显示了Alpha...谷歌AlphaProof形式语言使用语言模型模拟五亿年的进化历程
精华一、结论写在前面论文标题：Simulating500millionyearsofevolutionwithalanguagemodel论文链接：https:www.biorxiv.orgcontent10.11012024.07.01.600583v1.full.pdf超过三十亿年的进化历程将生物学图像编码到天然蛋白质的空间中。论文在由进化生成的token上训练的语言模型可以作为进化模拟器，生成与已知蛋白质相距甚远的功能性蛋白质。论文提出ESM3，一种前沿的多模态生成语言模型，该模型能够推理蛋白质的序列、结构...语言模型模拟遗忘"大脑？香港中文大学提出新算法MoFO助力AI记住预训练知识！
引言：大型语言模型在微调过程中的遗忘问题在人工智能领域，大型语言模型（LLM）因其在多种任务中展示出的卓越能力而备受关注。这些模型通常先在大规模语料库上进行预训练，以掌握广泛的语言能力，然后在特定任务的数据集上进行微调，以适应具体的应用场景。然而，微调过程中一个常见且棘手的问题是模型可能会忘记在预训练阶段获得的知识，这种现象被称为“遗忘”。遗忘问题不仅降低了模型的通用性能，还可能影响到模型在新任务...算法MoFOAI百度也来卷RAG了，Self-Reasoning比Self-RAG最高提升11.8%
检索增强型语言模型（RetrievalAugmentedLanguageModel,RALM）通过在推理过程中整合外部知识，减轻了LLM固有的事实幻觉问题。然而，RALMs仍面临挑战：检索到的不相关文档可能导致无效的回答生成、生成的输出中缺乏适当的引用，使得验证模型的可信度变得复杂。一个示例，展示了百度自我推理（SelfReasoning）框架如何通过相关意识过程、证据意识选择过程和轨迹分析过程生成推理轨迹。为了解决上述问题，百度（BaiduInc.）提出了...RAGRALMsLLM如何改良基于Basis的时间序列预测模型？
今天介绍一篇NIPS2023中上海交大和蚂蚁集团联合发表的时间序列预测文章，基于basis的时间序列建模。目前代码已经开源，论文的详细信息如下。论文标题：BasisFormer:AttentionbasedTimeSeriesForecastingwithLearnableandInterpretableBasis下载地址：https:arxiv.orgpdf2310.20496v1.pdf机构：上海交大开源代码：https:github.comnzl5116190Basisformer1.基于Basis的时序预测在时序预测中，basis指的是从时间序...Basis时间序列预测模型
