AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
TextCoT：放大增强型多模态富文本图像理解
原创摘要:大型多模态模型（LargeMultimodalModels,LMMs）的出现引发了旨在利用其卓越推理能力的研究热潮。然而，在理解富含文本的图像方面，要充分发挥LMMs的潜力仍然存在挑战，现有的方法在有效处理高分辨率图像方面面临困难。为此，我们提出了TextCoT，这是一种针对富含文本图像理解的新颖连锁思维（ChainofThought）框架。TextCoT利用LMMs的图片标注能力来把握图像的整体情境，并利用其定位能力来检查局部文本区域，从而实现全局...大型多模态模型大型语言模型大型语言模型与智能机器人集成的调查研究
原创摘要:近年来，大型语言模型（LLMs）的集成已经彻底改变了机器人学领域，使机器人能够以类似人类的熟练程度进行交流、理解和推理。本文探讨了LLMs对机器人学多方面的影响，解决了利用这些模型在各个领域的关键挑战和机遇。通过将LLM应用归类并分析在机器人学的核心要素——通信、感知、规划和控制中，我们旨在为寻求将LLM集成到他们的机器人系统中的研究者提供可行的见解。我们的研究重点放在GPT3.5之后开发的LLMs上，主要在基于...大型语言模型智能机器人大模型（LLM） API的使用，免费获取试用API方法，付费API计费方式
原创API（应用程序编程接口，ApplicationProgrammingInterface）是一组定义和协议，用于构建和集成应用程序软件。API允许不同的软件系统之间进行通信和数据交换。大模型API是大模型应用开发的基础。API的使用不需要很高的算力，CPU就能跑。1.API作用及优势大模型API（如GPT4、BERT等）提供了强大的自然语言处理（NLP）能力，可以应用于各种任务。以下是大模型API的主要功能和用途：1.自然语言理解和生成：理解和生成自然语言文本...大模型API图遇见大型语言模型：进展与未来方向的研究
原创摘要：在现实世界的应用中，如引文网络、社交网络和生物数据等领域，图（graph）在表示和分析复杂关系方面起着至关重要的作用。最近，大型语言模型（LargeLanguageModels,LLMs）在众多领域取得了显著成功，并且也被应用于与图相关的任务中，以超越传统的基于图神经网络（GraphNeuralNetworks,GNNs）的方法，并实现了最先进的性能。本综述首先对现有整合LLMs与图的各类方法进行了全面回顾与分析。首先，我们提出了一种新的分类法...大型语言模型LLM 预训练加速的新方法：八种模型增长方案总结
一、背景LLM的涌现能力依赖于其模型规模的增长，而ScalingLaw也在推进LLM朝着越来越大的方向发展。然而，LLM预训练的成本非常高，尤其是其与模型规模、数据量成正比，一个千亿参数量的模型往往需要几千个GPU训练几个月的时间。加速LLM预训练也因此称为一个非常有前景的研究方向。当前常见的优化方案为优化分布式策略，通信，以及训练稳定性等。与此同时，很多时候大家都会训练各种规模的LLM，例如LLaMA系列模型。也有许多工作在...LLM预训练模型提示工程策略：利用【慢思考】的双过程理论减少模型有害输出
精华1.思考的快与慢图片诺贝尔经济学奖得主卡尼曼在《Thinking,FastandSlow》这本书中根据前人多种双过程理论（DualProcessTheory）进行了总结和进一步解释：将人类的思考过程分为“直觉”和“推理”，这两个过程分别被称为“系统1（System1）”和“系统2（System2）”。系统一的特点是快速，不加思考、不做计算、仅凭直觉就做出判断。比如，当我们回答1+1这个问题的时候，我们的大脑可以不加思考的回答出等于2。所以系统一的特点是...模型语言AGI模型更新，评测集优化：多模态大模型评测升级！
先放结论如果你想为你的项目挑选合适的图文多模态模型，以下是一些可供参考的模型性能（括号内为评测分数）：已测性能最强的闭源模型：GPT4o（海外API模型，69.9）GLM4v（国内API模型，60.8）已测位于"参数量性能"前沿上的开源模型：InternVLv1.5(26B,61.7)MiniCPMLlama3V2.5(8B,58.8)InternLMXComposer27B4KHD(7B,58.8)MiniInternVL(4B,56.2;2B,49.8)本期的多模态模型性能榜单1.多模态大模型评测榜单构成更新在4月底，司南多...多模态工具开放榜单数据合成方法-让模型自己说出用了哪些指令对齐数据
写在前面大家好，我是刘聪NLP。大模型时代，数据至上，如何利用大模型合成更多高质量数据也备受关注。今天给大家分享一个有意思的大模型合成数据方法MAGPIE，在不需要种子数据和额外人工干预的情况下，挖掘出对齐过的模型自身的指令数据。《MAGPIE:AlignmentDataSynthesisfromScratchbyPromptingAlignedLLMswithNothing》paper:https:arxiv.orgabs2406.08464github:https:github.commagpiealignmagpie核心思想：对齐过的大模型...数据合成MAGPIEGPT4编码大模型系列：Meta创新的“代码编译优化”的LLM
原创 精华大型语言模型(LLM)已在各种软件工程和编码任务中展现出卓越的能力。然而，它们在代码和编译器优化领域的应用仍未得到充分探索。训练LLM需要大量资源，需要大量的GPU时间和大量的数据收集。Meta语言模型编译器(LLMCompiler)，这是一套专为代码优化任务设计的强大、公开可用的预训练模型。LLMCompiler建立在CodeLlama的基础上，增强了对编译器中间表示(IR)、汇编语言和优化技术的理解。该模型已在546B的LVMIR和汇编代码的庞大语料...模型LLM编译器靠Scaling Laws炼出4D版视频生成模型，多伦多大学北交大等携手开源81K高质量数据集
只需几分钟、一张图或一句话，就能完成时空一致的4D内容生成。注意看，这些生成的3D物体，是带有动作变化的那种。也就是在3D物体的基础之上，增加了时间维度的运动变化。这一成果，名为Diffusion4D，来自多伦多大学、北京交通大学、德克萨斯大学奥斯汀分校和剑桥大学团队。具体而言，Diffusion4D整理筛选了约81K个4Dassets，利用8卡GPU共16线程，花费超30天渲染得到了约400万张图片，包括静态3D物体环拍、动态3D物体环拍，以及...4D生成模型一次可输入多张图像，还能多轮对话！最新开源数据集，让AI聊天更接近现实
大模型对话能更接近现实了！不仅可以最多输入20张图像，还能支持多达27轮对话。可处理文本+图像tokens最多18k。这就是最新开源的超长多图多轮对话理解数据集MMDU（MultiTurnMultiImageDialogUnderstanding）。大型视觉语言模型（LVLMs）的核心能力之一是生成自然且有意义的回答，从而能够与人类进行流畅的图文对话。尽管目前开源的LVLMs在如单轮单图输入等简化场景中展示出了不错的潜力，但在具有长上下文长度，且需要多轮对话...模型生成从零开始，用英伟达T4、A10训练小型文生视频模型，几小时搞定
精华OpenAI的Sora、StabilityAI的StableVideoDiffusion以及许多其他已经发布或未来将出现的文本生成视频模型，是继大语言模型(LLM)之后2024年最流行的AI趋势之一。在这篇博客中，作者将展示如何将从头开始构建一个小规模的文本生成视频模型，涵盖了从理解理论概念、到编写整个架构再到生成最终结果的所有内容。由于作者没有大算力的GPU，所以仅编写了小规模架构。以下是在不同处理器上训练模型所需时间的比较。作者表示，在CPU上运...模型架构亚马逊云创新「神经稀疏检索」：仅需要文本匹配就能实现语义搜索
本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件超过5亿下载量，社区在全球拥有70个以上的企业合作伙伴。自从大模型爆火以来，语义检索也逐渐成为一项热门技术。尤其是在RAG（retrievalaugmentedgeneration）应用中，检索结果的相关性直接决定了AI生成的最终效果。目前市面上绝大部分的语义检索实...模型编码30倍于传统方法，中国科学院团队Transformer深度学习模型预测糖-蛋白质作用位点
糖类是自然界中最丰富的有机物质，对生命至关重要。了解糖类如何在生理和病理过程中调节蛋白质，可以为解决关键的生物学问题和开发新的治疗方法提供机遇。然而，糖类分子的多样性和复杂性，对实验识别糖蛋白质结合以及相互作用的位点提出了挑战。在这里，中国科学院团队开发了一种深度学习模型DeepGlycanSite，它能够准确预测给定蛋白质结构上的糖结合位点。DeepGlycanSite将蛋白质的几何和进化特征融入具有Transformer架构的深...工具蛋白ICML 2024｜Transformer究竟如何推理？基于样例还是基于规则
文章第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。胡逸的导师为北京大学人工智能研究院助理教授、北京通用人工智能研究院研究员张牧涵，主要研究方向为图机器学习和大模型的推理和微调。论文地址：https:arxiv.orgabs2402.17709项目主页：https:github.comGraphPKUCaseorRule论文标题：CaseBasedorRuleBased:HowDoTransformersDotheMathCasebasedorrulebased尽管如ChatGPT这样的大语言模型（LargeLang...模型训练看张手绘草图就能合成图形程序，加州伯克利让扩散模型掌握新技能
假设我们给模型一张手绘的「5」状图形，它就能通过不断突变来修改程序，最终得到能输出目标图形的程序。该模型来自加州大学伯克利分校的一个研究团队，他们提出的这种程序合成新方法使用了神经扩散模型来直接操作句法树。论文一作为该校博士生ShreyasKapur，其导师为该校计算机科学教授StuartRussell。论文标题：DiffusionOnSyntaxTreesForProgramSynthesis论文地址：https:arxiv.orgpdf2405.20519项目地址：https:treediffusio...https://mp.weixiMLLM QLoRA微调实战：基于最新的袖珍Mini-InternVL模型
原创译者朱先忠审校重楼引言大型语言模型（LLM）的世界正在不断发展，新的进步正在迅速出现。一个令人兴奋的领域是多模态LLM（MLLMs）的发展，这种模型既能够理解文本又能够理解图像，并与之进行交互。因此，这种多模态模型的出现将为文档理解、视觉问答等任务打开一个新的可能性的世界。我最近写了一篇关于这种模型的文章《微软最新的Phi3视觉语言模型的6种现实应用》（6RealWorldUsesofMicrosoft’sNewestPhi3VisionLangu...大型语言模型人工智能QLoRAAdvanced RAG 09：『提示词压缩』技术综述
原创 精华编者按：如何最大限度地发挥LLMs的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(PromptCompression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向LLMs输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响模型表现的前提下，降低推理成本。文中全面介绍了多种提示词压缩算法的原理和实现细节，包括基于信息熵的Selectiv...RAGLLMs白海科技如何解决模型的灾难性遗忘问题？清华大学提出新方法！
精华探索连续学习中的新方法在人工智能领域，尤其是在语言模型（LM）的发展过程中，连续学习（CL）始终是一个挑战。传统的学习方法往往面临着灾难性遗忘的问题，即新知识的学习可能会导致旧知识的丢失。这一问题不仅影响模型的长期稳定性，还可能限制其在实际应用中的效能。为了解决这一问题，研究者们提出了多种策略，如重复学习、架构调整和参数调整等方法。然而，这些方法往往依赖于旧任务数据或任务标签，而这在实际应用中可能...模型LMsMIGU文本分块哪家强？LumberChunker、语义分块、段落级、循环分块、HyDE、命题级
检索增强生成（RAG）系统通过将模型生成与上下文相关文档相结合来提高信息的准确性，文本内容如何分割成“块（chunk）”对检索质量有显著影响。用于问答实验的RAGPipeline，一些tricks，混合检索：BM25Top3、密集检索Top15，BM25的Top1排在前面，Top23排在最后；大模型重排序：如果上下文包含六个或更多块，从中间点开始反转块的顺序。LumberChunker方法利用LLM动态地将文档分割成语义独立的块。这种方法基于一个前提：当内容块...语义分块段落级HyDE
