AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
AI生图可“量身定制”了，华为&清华联手打造个性化多模态生成方法PMG
苹果OpenAI官宣合作，GPT4o加持Siri，让AI个性化生成赛道热度飙升。其实，国内已有相关研究，一项基于大模型的个性化多模态内容生成技术，直接可让AI学会为用户“量身定制”输出。例如在聊天软件中生成表情包，输入都是：我通过了，很开心！配备了个性化生成技术的聊天软件可以识别当前用户想表达的情绪并考虑用户的个性化偏好，自动生成表情库里没有的多个笑脸猫表情候选供用户点击使用：△图1个性化生成能够生成符合用户...AI生图微软研究院MRP：大模型动态选择最佳解题策略的元推理提示，比CoT、ToT更有效
大型语言模型（LLMs）在自然语言理解和生成方面表现出色，但面对现实世界问题的多样性和复杂性，单一静态方法的推理能力有限。现有的推理技术，如思维链（ChainofThoughts）、思维树（TreeofThoughts）等，虽然在特定任务上有所提升，但未能在不同任务中持续实现最佳性能。人类在认知过程中通过元推理（metareasoning）动态调整策略，以高效分配认知资源。受此启发，提出了元推理提示（MetaReasoningPrompting,MRP），以赋予LLM...MRP模型ToTAdvanced RAG 08：使用 Self-RAG 打造高质量、可追溯的 RAG System
原创 精华编者按：RAG技术通过检索并利用外部知识源，能够较为有效地提升生成内容的准确性和多样性。然而，经典RAG流程也存在一些不足，例如不必要的检索会浪费计算资源，并可能引入无关内容或错误信息，影响生成质量。本文介绍了SelfRAG这一技术，通过引入ReflectionTokens，语言模型能够根据具体需求动态决定是否检索外部知识，从而大大减少了不必要的检索操作。与此同时，SelfRAG通过特殊的训练流程，使生成的内容不仅通顺自然，与事...RAGAIAgentic RAG 与图任务编排
一个朴素的RAG系统流程是这样的：先由用户提出问题，然后系统基于用户提问进行召回，对召回结果进行重排序，最后拼接提示词后送给LLM生成答案。一部分简单场景下，朴素的RAG已经可以满足用户意图明确的场景的要求，因为答案已经包含在检索出来的结果中，只要交给LLM即可。然而在更多的情况下用户意图并不明确，无法直接通过检索找到答案，例如一些针对多文档的总结类提问需要进行多步推理(Reasoning)等等。这类场景就需要引入Ag...系统编排ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据
精华AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在2026年——2032年消耗完这些数据。研究人员特别提到了“过度训练”（Overtraining）是加速消耗训练数据进程的主要原因之一。例如，Meta最新开源的Llama3的8B版本过度训练达到了惊人的100...ChatGPT训练搬砖机器人？浅谈RPA技术及其应用
RPA，即RoboticProcessAutomation（机器人流程自动化），是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。通俗地讲，RPA机器人就是借助一些能够自动执行的脚本，以软件自动化方式实现一系列原来需要人工完成的工作。但凡具备一定脚本生成、编辑、执行能力的工具在此处都可以称之为机器人。一、RPA的兴起图1RPA机器人的工作优势RPA机器人的兴起，与数字经济的蓬勃发展有着密切的联系。随...RPA机器人技术NVIDIA新模型Nemotron-4 340B系列：98%的训练数据是合成生成的，你敢信？
标题：Nemotron4340BTechnicalReport模型概述：Nemotron4340B系列模型的基本构成Nemotron4340B系列模型包括三个主要版本：Nemotron4340BBase、Nemotron4340BInstruct和Nemotron4340BReward。这些模型是在NVIDIA开放模型许可协议下发布的，该协议允许模型及其输出的分发、修改和使用。Nemotron4340B系列模型在多个评估基准测试中与其他开放访问模型具有竞争力，并且设计为在单个DGXH100设备上使用8个GPU以FP8精度部署时能够适应...数据语言模型优化【LLM】从软件工程视角看大语言模型测试
一、结论写在前面论文标题：ASoftwareEngineeringPerspectiveonTestingLargeLanguageModels:Research,Practice,ToolsandBenchmarks论文链接：https:arxiv.orgpdf2406.08216LLMs正迅速成为无处不在的工具，既是独立工具，也是当前和未来软件系统的组件。为了在2030年的高风险或安全关键系统中使用LLMs，它们需要经过严格的测试。软件工程（SE）对机器学习（ML）组件和基于ML的系统测试的研究已经系统地探讨了许多主题，...语言模型测试剖析大规模 GPU 集群：针对 LLM 场景的挑战和优化
精华一、背景我们之前详细介绍过在千卡和万卡GPU集群中预训练LLM的挑战，其简单来说可以总结为几点：1.优化分布式策略，提升MFU；2.异步Checkpointing，增加Checkpointing频率，减少无效计算；3.完善的故障诊断及任务恢复机制；4.监控和Profiling方案。然而，在整个LLM的开发周期中，除了预训练外还有很多其他阶段，比如数据准备，微调以及模型评估等，如下图Figure1所示。这里我们介绍一篇上海AILab等团队的工作，其从整个LLM集群...GPU集群LLMNemotron-4 340B 技术报告：全面解读当前最强大语言模型的诞生过程
1.最强开源模型要易主了？图片2天前，英伟达发布了其最强大语言模型Nemotron4340B模型家族，包括Nemotron4340BBase、Nemotron4340BInstruct和Nemotron4340BReward。所有的模型都是基于NVIDIA的开源模型许可协议，允许用户自由分发、修改和使用模型及其输出。并且可以在8块H100的单机上以FP8精度运行。1.1自动化测评在Nemotron4340BInstruct的自动基准测试评估中，分别与开源（如MetaAI的Llama370BInstruct、MistralAITeam的Mixt...语言模型NemotronCVPR`24 | 4D编辑哪家强？浙大首次提出通用指导4D编辑框架：Instruct 4D-to-4D
文章链接：https:arxiv.orgpdf2406.09402项目地址：https:immortalco.github.ioInstruct4Dto4D今天和大家一起学习的是Instruct4Dto4D，可以通过2D扩散模型实现4D感知和时空一致性，以生成高质量的指令引导的动态场景编辑结果。先一起来看看4D编辑的精彩效果：传统的2D扩散模型在动态场景编辑中的应用通常会导致不一致，主要原因在于其固有的逐帧编辑方法。为了解决将指令引导的编辑扩展到4D的复杂性，本文的关键洞察是将4D场景...4D生成如何训练LLM自动在RAG和参数记忆之间进行选择
原创AdaptLLM可以训练LLM确定是否需要在问答任务中检索额外的场景信息，将提高LLM应用程序的效率。检索增强生成(RAG)管道使大型语言模型(LLM)能够在其响应中使用外部信息源。但是RAG应用程序为发送到LLM的每个请求检索额外的场景信息。这使得该过程效率低下，因为LLM已经包含了大量无需检索即可使用的知识。如果可以将LLM配置为仅在其内部知识不足时使用RAG，那会怎么样AdaptLLM是由意大利博岑博尔扎诺自由大学(BozenBolzano)和意大...LLMRAG大型语言模型字节打造大模型TTS：不仅能高保真合成，而且支持调整编辑
通过高保真合成语音与真人语音无异。首先来听一段《凡人修仙传》你猜的没错，这段有声书并非来自某个专业制作团队，而是一个AI模型SeedTTS，而这个模型则是来自字节跳动的SeedTeam。TTS是指文本转语音，这是一种具备诸多妙用的技术，像是让个人智能助理说话、为视频或游戏配音、辅助视障人士、制作有声书等等。对于TTS技术研发者来说，流畅自然的表达一直以来都是值得追求的重要目标。字节跳动SeedTeam发布的SeedTTS不只是一个...字节大模型杀疯了！谷歌卷视频到语音，逼真音效让AI视频告别无声！
这几天，大洋彼岸杀疯了！Luma的热乎劲儿还没过去，昨晚Runway就甩出一个王炸——Gen3Alpha。（查看详情请移步：Runway版Sora发布：高保真、超强一致性，Gen3Alpha震撼到网友了）更没想到的是，一觉醒来，GoogleDeepMind也有了新消息，悄咪咪地发布了视频生成语音（V2A）技术的进展。虽然这一功能还未向公众开放，不过从官方放出的视频Demo来看，效果那是相当丝滑。同时，GoogleDeepMind强调，所有示例均由V2A技术和...AI技术揭秘神秘的种子：Adobe联合宾夕法尼亚大学发布文本到图像扩散模型大规模种子分析
精华文章链接：https:arxiv.orgpdf2405.14828最近对文本到图像（T2I）扩散模型的进展促进了创造性和逼真的图像合成。通过变化随机种子，可以为固定的文本提示生成各种图像。在技术上，种子控制着初始噪声，并且在多步扩散推理中，在反向扩散过程的中间时间步骤中用于重参数化的噪声。然而，随机种子对生成的图像的具体影响仍然相对未知。在这项工作中，进行了大规模的科学研究，探讨了扩散推理过程中随机种子的影响。值得注意...Adobe模型UBCFashion和TikTok新SOTA！复旦和腾讯优图发布端到端人像动画生成器VividPose！
文章链接：https:arxiv.orgpdf2405.18156项目链接：https:kelu007.github.iovividpose人像动画涉及通过遵循指定的姿势序列从静态图像生成视频。目前的方法通常采用多阶段pipeline，分别学习外观和动作，这往往导致外观退化和时间不一致。今天和大家分享一篇优化这些问题的工作————VividPose，这是一种基于StableVideoDiffusion(SVD)的创新端到端pipeline，确保了优越的时间稳定性。为了增强人类身份的保留，提出了一种身份...模型生成器The Annotated BERT注释加量版，读懂代码才算读懂了BERT
原创前面我们从0实现了Transformer和GPT2的预训练过程，并且通过代码注释和打印数据维度使这个过程更容易理解，今天我将用同样的方法继续学习Bert。原始Transformer是一个EncoderDecoder架构，GPT是一种Decoderonly模型，而Bert则是一种Encoderonly模型，所以我们主要关注Transformer的左侧部分。后台回复bert获取训练数据集、代码和论文下载链接阅读本文时请结合代码https:github.comAIDajiangtangannotatedtransformerblobmasterA...TransformerGPT2浅谈大模型RAG架构落地的十大挑战
原创0、RAG简介RAG（RetrievalAugmentedGeneration）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。RAG流程简要概括为3步，对应其名：1、检索：借助Embedding，将问题转化为向量，比对知识库，选取最相关的TopK知识。2、增强：结合检索出的上下文和问题，构造Prompt。3.生成：将Prompt输入大模型，产出答案。从工程视角划分，RAG实施分为两阶段：阶段一：离线数据预处理：涵盖知识文件导入、文本切分、向量...大模型RAG架构大神Aviral Kumar：价值学习真的是离线 RL 的主要瓶颈吗？
原创动机离线强化学习(RL)和模仿学习之间的主要区别在于使用价值函数，并且离线RL中的大多数先前工作都侧重于使用更好的技术学习更好的价值函数。所以价值函数学习是离线RL的主要瓶颈……对吗？在这项工作中，研究人员表明，实践中情况往往并非如此！分析离线强化学习的瓶颈这项工作的主要目标是了解离线RL的性能在实践中如何受到瓶颈限制。离线RL有三个潜在瓶颈：（B1）数据价值评估不完善（B2）从学习到的价值函数中提取不完善的...离线 RL价值学习Aditya Ramesh讲DALL·E 2基本原理
原创DALL·E2是由AdityaRamesh和OpenAI的合著者们开发的一种文本到图像生成系统。当系统接收到一个标题时，它会尝试从头开始生成一幅与之匹配的新颖图像。它还具备以下额外功能：修复：使用语言对图像进行编辑；变异（图1）：生成新图像，这些图像与给定参考图像具有相同的本质，但在细节的组合方式上有所不同；文本差异（图4）：使用语言转换图像的任何方面。图1：雷·潘在黑板涂鸦上的DALL·E2变异。中间是原始涂鸦，周围显示生成...DALL·E 2
