AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
物理传热启发的视觉表征模型vHeat来了，尝试突破注意力机制，兼具低复杂度、全局感受野
本文作者为VMamba的原班人马，其中第一作者王兆植是中国科学院大学和鹏城实验室的2022级联合培养博士生，共同一作刘悦是中国科学院大学2021级直博生。他们的主要研究方向是视觉模型设计和自监督学习。如何突破Transformer的Attention机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型，v...物理模型超越人类？AI大语言模型在高阶心智理论任务上展现惊人表现
精华探索大型语言模型中的高阶心智理论在人类的社会互动中，理解他人的心理状态是一项至关重要的能力，这种能力被称为心智理论（TheoryofMind,ToM）。心智理论使得人们能够推断和理解他人的信念、愿望、知识和情感，从而预测和影响他人的行为。随着人工智能领域的迅速发展，特别是大型语言模型（LargeLanguageModels,LLMs）的出现，研究者开始探索这些模型是否能够展现出类似人类的心智理论能力。本文旨在探讨LLMs在高阶心智理论任...语言模型LLMs多模态揭秘Sam Altman的投资帝国，谈谈AI大佬鲜为人知的一面
在硅谷，山姆·奥特曼无疑是一个不可忽视的存在。然而，他的财富来源并不仅仅依赖于他在OpenAI的工作。事实上，奥特曼真正的致富之路更像是一本充满风险和机遇的投资教科书。作为OpenAI的首席执行官，奥特曼的年薪仅为65,000美元，而且他选择不在这家估值高达860亿美元的人工智能公司中持有任何股份。这种选择虽然看似高尚，避免财富对人工智能安全发展的腐蚀，但实际上他的主要财富并非来自OpenAI的薪水或股份。在非公开的另一...AI网络OpenAI【LLM】大语言模型的情感理解和共情能力
一、结论写在前面同理心是促进亲社会行为的基础，可以通过分享个人经历的故事来唤起。虽然同理心受到叙事内容的影响，但直觉上，人们也通过叙事风格对故事的讲述方式做出反应。然而，同理心与叙事风格之间的关系尚未完全明了。论文通过大型语言模型（LLMs）和大规模众包研究实证检验并量化了这种关系。论文引入了一种新颖的理论基础分类法，HEART（人类同理心与叙事分类法），该分类法阐述了叙事风格中的元素，这些元素能够引导...语言模型方程DocReLM：自建数据集训练检索模型和重排序模型提高 RAG 效果
背景根据Crossref的数据，目前学术界已经积累了1.4篇文献，每年还以几百万的速度增加。这种惊人的增长速度，让研究人员跟踪业内动态变得越来越困难。因此，大家对高效的语义检索系统需求越来越强烈。这类系统的开发面临非常多的困难：•首先，学术论文使用高度专业化的语言，需要深刻理解上下文才能提取关键信息。•其次，理解一篇论文不仅要阅读其内容，还要理解引用及其相互关系，这要求系统能够把握论文内引用间的联系。•最...RAG模型数据集ChatGPT-4o有何特别之处?
大家已经知道，OpenAI在GPT4发布一年多后终于推出了一个新模型。它仍然是GPT4的一个变体，但具有前所未见的多模态功能。有趣的是，它包括实时视频处理等强大功能，这一关键功能最终可以让我们创建强大的虚拟助手，实时支持我们的日常生活。然而，这样的功能应该很昂贵且缓慢，考虑到该模型速度极快且免费使用(有限免费)，这不合情理。那么，到底发生了什么事呢？OpenAI一定已经意识到了一些我们尚未意识到的事情，即我们今天讨...ChatGPT-4oJSONLLMGPT Researcher：破解复杂研究的AI利器
原创在现代研究环境中，处理如详尽研究工作或学术论文撰写等复杂任务对当前的大型语言模型(如ChatGPT)来说是一个挑战。这些任务通常需要长时间的手动干预和多步骤操作，现有的AI工具往往无法在没有人类帮助的情况下完成这些复杂任务。GPTResearcher受到PlanandSolve方法的启发，提供了解决这一问题的方法。通过将复杂任务拆解为更小的子任务并并行执行，GPTResearcher提高了研究的效率和准确性。它利用大模型从多个在线资源中抓取和...大语言模型LLMChatGPT大模型“分区”部署在云和边缘更合适？
原创 精华作者DavidLinthicum出品51CTO技术栈（微信号：blog51cto）众所周知，大型语言模型（LLMs）需要大量的计算资源。这意味着开发和部署主要集中在强大的集中式系统上，如公共云提供商。然而，尽管许多人认为我们需要大量的GPU和庞大的存储空间来运行生成式AI，但实际上，存在使用分层或分区架构为特定业务用例创造价值的方法。不知怎的，有一种声音认为，在生成式AI的时代背景下，边缘计算似乎行不通。这是因为生成式AI模型的处理要...模型边缘LLM腾讯元宝全面测评！国产AI“看剧”时代开启！读懂《庆余年》范闲，揭秘奥特曼宫斗！
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）腾讯在大模型上的动作姗姗来迟。对于“后发”的抉择，腾讯想得很清楚。在“腾讯元宝”上线的发布会上，腾讯云副总裁、腾讯混元大模型负责人刘煜宏说，“虽然行业内看起来火热，但是中国移动互联网用户规模12.32亿，国内AI头部产品日活跃用户规模仅数百万。这意味着AI产品的渗透率极低，不到1%。”图片在这种情景之下，尽管大家的FOMO（害怕错过）情绪很重，但先发不见得必然获取到...国产AI腾讯高效、可泛化的高斯重建框架，只需3张视图即可快速推理，45秒便可完成优化
3D重建和新视图合成技术在虚拟现实和增强现实等领域有着广泛的应用。NeRF通过隐式地将场景编码为辐射场，在视图合成上取得了显著的成功。然而，由于NeRF依赖于耗时的逐场景优化，极大地限制了其实用性。为了解决这一问题，出现了一些可泛化的NeRF方法，旨在通过网络前馈的方式从多视图中重建场景。然而，由于基于NeRF的方法需要在射线上查询密集的点进行渲染，因此速度受到了限制。最近，3DGaussianSplatting（3DGS）采用了各向...视图优化多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个token预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。能够同时生成多种模态输出的多模态模型一般是通过某种形式的词汇扩展（将多模态表征转换为离散token并添加到模型的基本词汇表中）来实现的，即在预训练阶段或在后期微调阶段进行跨模态对齐。多模态预训练方法具有很强的性...谷歌架构CVPR 2024 | 合成视频数据集里只有单人数据？M3Act破解人群行为标注难题
精华论文链接：https:arxiv.orgabs2306.16772项目链接：https:cjerry1243.github.ioM3Act论文标题：M3Act:LearningfromSyntheticHumanGroupActivities引言通过视觉信息识别、理解人群的行为是视频监测、交互机器人、自动驾驶等领域的关键技术之一，但获取大规模的人群行为标注数据成为了相关研究的发展瓶颈。如今，合成数据集正成为一种新兴的，用于替代现实世界数据的方法，但已有研究中的合成数据集主要聚焦于人体姿态与形状的估...合成视频数据超长小说可以用AI翻译了，新型多智能体协作系统媲美人工翻译
机器翻译(MT)的最新进展显着提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。最近，一篇题为《(Perhaps)BeyondHumanTranslation:HarnessingMultiAgentCollaborationforTranslatingUltraLongLiteraryTexts》的论文，提出了一种用于文学翻译的基于大型语言模型（LLM）的新型多智能体框架，并构建了一家名为TRANSAGENTS的虚拟出版公司（文学翻译多智能体系统）。论文...机器翻译AI单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率
自2017年被提出以来，Transformer已成为AI大模型的主流架构，一直稳站C位。但所有研究者都不得不承认的是，Transformer在算数任务中表现非常糟糕，尤其是加法，这一缺陷在很大程度上源于Transformer无法跟踪大范围数字中每个数字的确切位置。为了解决这个问题，来自马里兰大学、CMU等机构的研究者向这一问题发起了挑战，他们通过在每个数字中添加一个嵌入来解决这个问题，该嵌入编码数字相对于开头的位置。该研究发现，只用一天...GPU训练2D头像生成3D虚拟人开视频会，谷歌新作让人难绷
精华开视频远程会议的时候，很多人都不喜欢打开摄像头。即使开了，在界面上大家也都被框在不同的窗口里。虽然这种形式操作起来很方便，但总是缺乏点临场感。最近，谷歌提出了一项研究旨在解决这个问题，这个名叫ChatDirector的技术可以使用静态的2D头像生成3D虚拟人，让大家一同「坐在会议室里」开会，只是看起来样子有点夸张：ChatDirector通过空间化视频头像、虚拟环境和自动布局转换，构建了一个拟真的虚拟环境。虽说只是早期研...3D视频无需3D数据也能训练，港科&港中文联手华为推出3D自动驾驶场景生成模型
无需采集3D数据，也能训练出高质量的3D自动驾驶场景生成模型。这是来自香港中文大学、香港科技大学和华为诺亚方舟实验室的最新研究成果——针对自动驾驶街景的可控3D场景生成方法“MagicDrive3D”。此前，采用常见的2D自动驾驶数据集来生成3D街景的方法不是没有，但受采集角度所限，生成结果的可控性和几何一致性无法同时满足。而现在，MagicDrive3D通过结合可控生成与场景重建解决了这一限制。不仅支持多条件控制，还突破了原...3D自动驾驶AI读论文新神器：多栏密集文字、中英图文混排文档都能读的多模态大模型Fox
虽然多模态大模型都能挑西瓜了，但理解复杂文档方面还是差点意思。面对文字密集、多栏混排等文档时往往力不从心，区域级别的细粒度理解，就更是无从谈起了。最近，旷视团队打造了一支多模态大模型的“点读笔”——Fox，轻松实现对8页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。对于信息密集的PDF文档，Fox支持高可控性的细粒度理解，比如在用户感兴趣区域内进行文字识别、段落翻译以及页面内部的图片内容...模型AIControlNet作者搞起大模型：让天下没有难写的生图提示词，一句话变构图小作文
精华ControlNet作者新项目，居然也搞起大模型和Agent了。当然还是和AI绘画相关：解决大伙不会写提示词的痛点。现在只需一句超简单的提示词说明意图，Agent就会自己开始“构图”：afunnycartoonbatmanfightsjoker（一幅有趣的卡通蝙蝠侠与小丑战斗的图画）这就是ControlNet作者LvminZhang的新玩具Omost。Omost这个名字有双层含义：发音与英文单词almost（几乎）相似，意味着每次使用Omost后，用户所需的图像几乎就完成了；“O”代表...模型提示词开发arXiv论文引擎机器人程序：基于RAG＋LangChain＋Chainlit＋ChromaDB
原创本文将完整细致地介绍如何使用RAG技术与LangChain、ChainlitCopilot组件以及LiteralAI可观测性特征联合开发一款语义论文搜索引擎程序。简介在本文中，我将演示如何使用检索增强生成(RAG)技术构建语义研究论文引擎。具体地说，我将使用LangChain(https:www.langchain.com)作为构建语义引擎的主要框架，以及OpenAI公司的大语言模型和ChromaDB开源向量数据库(https:www.trychroma.com)。为了构建名称为Copilot的嵌入式Web应用程序...RAGLLMOpenAI谷歌DeepMind：GPT-4高阶心智理论彻底击败人类！第6阶推理讽刺暗示全懂了
GPT4的高阶心智理论（ToM），已经正式超越人类！就在刚刚，谷歌DeepMind、约翰斯·霍普金斯大学和牛津大学等机构的学者发布的研究证实，GPT4在心智理论任务上的表现，已经完全达到了成年人类的水平。而且，它在第6阶推理上的表现，更是大幅超过了人类！论文地址：https:arxiv.orgpdf2405.18870无独有偶，此前Nature子刊《自然·人类行为》的一项研究也证实了，GPT4在心智理论上的表现已经位于人类水平之上，能够比人类更...GPT-4谷歌
