AI.x社区

大模型不看图，竟也能正确回答视觉问题？！中科大、香港中文大学、上海AILab的研究团队团队意外发现了这一离奇现象。他们首先看到像GPT4V、GeminiPro、Qwen1.572B、YiVL34B以及LLaVANext34B等大模型，不管是闭源还是开源，语言模型还是多模态，竟然只根据在多模态基准MMMU测试中的问题和选项文本，就能获得不错的成绩。△蓝色表示能看到图的LVLMs，橘色和绿色分别表示只接收问题和选项文本的LLMs和LVLMs（LLM：大语言模型；LVLM...

谷歌终于更新了Transformer架构。最新发布的MixtureofDepths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。这一方法刚刚发布，就马上引发关注。MoE风头正盛，MoD已经来后浪拍前浪了？还有人开始“算账”：听说GPT4Turbo在Blackwel...

“只需”10万美元，训练Llama2级别的大模型。尺寸更小但性能不减的MoE模型来了：它叫JetMoE，来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama2。△贾扬清转发要知道，后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源，且学术界友好：仅使用公开数据集和开源代码，用消费级GPU就能进行微调。不得说，大模型的打造成本，真的比人们想的要便宜更多了。Ps.StableDiffusion前老板Emad也点了赞：10万美刀实现Llam...

离大谱了，弱智吧登上正经AI论文，还成了最好的中文训练数据？？具体来说，使用弱智吧数据训练的大模型，跑分超过百科、知乎、豆瓣、小红书等平台，甚至是研究团队精心挑选的数据集。​在问答、头脑风暴、分类、生成、总结、提取等8项测试中取得最高分。​没错，论文中的Ruozhiba就是指百度贴吧弱智吧，一个充满荒谬、离奇、不合常理发言的中文社区，画风通常是这样的：最离谱的是，弱智吧AI代码能力也超过了使用专业技术问答社...

去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题。因此，罗格斯大学的研究人员开源了AIOS，这是一种以大模型为核心的AI代理操作系统。可有效解可决随着AI代理的增加，资源调用率低的难题，同时能促进代理之间的上下文切换、实现并发执行代理并维护代理的访问控制。开源地址：https:github.comagiresearchAIOS论文地址：https:a...

撰稿丨诺亚如何让一个AI回答一个它本不应该作答的问题？有很多这种所谓的“越狱”技术，而Anthropic的研究人员最近发现了一种新方法：如果首先用几十个危害性较小的问题对大型语言模型（LLM）进行预热，就能诱使其告诉你如何制造炸弹。他们将这种方法称为“多轮越狱”，不仅撰写了相关论文，还将其告知了人工智能领域的同行们，以便能采取措施来减轻这一风险。1.长文本越卷越离谱，不料却成“祸端”这个新的漏洞是由于最新一代L...

4月3日，OpenAI开始向部分用户，提供在ChatGPT中的DALL·E3图片编辑功能。DALL·E3是OpenAI在2023年9月20日发布的一款文生图模型，其生成的图片效果可以与Midjourney、leonardo、ideogram等顶级产品媲美，随后被融合到ChatGPT中增强其多模态能力。但有一个很大的问题是，人们无法对AI生成的内容进行精准控制，因为这些都是神经元随机生成的，即便你用最精准的提示词也无法做到。所以，OpenAI推出了DALL·E3的可视化编辑功能，帮...

会读心的Siri想不想要？今天，苹果发布了自家的最新模型ReALM，仅需80M参数，就能在上下文理解能力上打平甚至超越GPT4！论文地址：​​https:arxiv.orgpdf2403.20329.pdf​​ReALM可以将任何形式的上下文转换为文本来进行理解，比如解析屏幕、多轮对话、以及上下文中的引用。在此基础上，用户正在关注什么，甚至是想些什么，都逃不过AI的法眼。有了这个技术，你的Siri会反应更快，而且更加智能。比如你让Siri推荐一些披萨店，在...

华人又来炸场了！昨天，普林斯顿的CSNLP硕士生JohnYang在Github上开源了一款堪比Devin的利器。不到一天，就在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文就会公开！图片1.让语言模型秒变编程Agent！SWEagent是一款用于自主解决Github存储库问题的新系统，在SWEbench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！！图片此外，SWEagent通过与专用终端交互来工作，这使得它能够：打...

大模型又被曝出安全问题？这次是长上下文窗口的锅！今天，Anthropic发表了自己的最新研究：如何绕过LLM的安全限制？一次越狱不够，那就多来几次！论文地址：​​https:wwwcdn.anthropic.comaf5633c94ed2beb282f6a53c595eb437e8e7b630ManyShotJailbreaking202404020936.pdf​​在拿着Claude3一家叫板OpenAI之余，Anthropic仍然不忘初心，时刻关注着他的安全问题。一般情况下，如果我们直接向LLM提出一个有害的问题，LLM会委婉拒...

短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初始方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义，论文已入选CVPR2024。视频demo展示、数据特性演示以及...

基于Transformer架构的大语言模型在NLP领域取得了令人惊艳的效果，然而，Transformer中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。此前，研究者们提出了线性Transformer、Mamba、RetNet等。这些方案可以大幅降低Transformer计算成本，并且取得媲美原有模型的精度，但是由于架构更换，模型重训练带来的巨大成本令人望而却步。为了解决这一问题，最近的一篇论文提出了一种基于频...

最近，有很多人在为AI代替自己的工作而担忧。上个月火遍AI圈的「首位AI程序员」Devin，利用大模型能力已经掌握了全栈技能，仅需要人类给出自然语言指令，就可以自动完成复杂的代码任务。Devin展示的能力非常惊艳，不过这款工具出自走闭源路线的创业公司，现在只有一小部分获得了内测名额的人才能使用。本周二，来自普林斯顿大学NLP组的研究人员放出了SWEagent——一个开源版AI程序员，不到一天就获得了上千的GitHubStar量。SWEa...

刚刚，人工智能初创公司Anthropic宣布了一种「越狱」技术（ManyshotJailbreaking）——这种技术可以用来逃避大型语言模型（LLM）开发人员设置的安全护栏。研究者表示，其对Anthropic自家模型以及OpenAI、GoogleDeepMind等其他AI公司的模型都有效，模型包括Claude2.0、GPT3.5和GPT4、Llama2(70B)和Mistral7B等。目前，该团队已经向其他AI开发人员通报了此漏洞，并已在他们自己开发的系统上实施了缓解措施。相关论文已经放出。论...

本项目测试参考歌声，歌词“风吹来的砂冥冥在哭泣，难道早就预言了分离”：3gt夕小瑶科技说12秒提示词“Iwanttolistentoasongwithamanvoice.”生成的歌声：转换男声夕小瑶科技说12秒提示词“I'minthemoodforasongperformedbyamadamartist.”生成的歌声：转换女声夕小瑶科技说12秒引言：自然语言指令在歌声合成中的新突破在数字音频技术的发展历程中，歌声合成（SingingVoiceSynthesis,SVS）一直是一个充满挑战的领域。随着深度...

引言：探索记忆消除的界限在人工智能的发展过程中，一个引人入胜的议题是机器学习模型是否能够被训练以忘记其曾经学到的信息。近期，RonenEldan和MarkRussinovich在其研究“谁才是哈利·波特？”[1]中提出了一种创新技术，声称能够从LLMs中“抹去”特定数据集的记忆，尤其是针对《哈利·波特》这样的知名作品。他们的方法引发了业界的广泛关注，并被认为是在LLMs“遗忘”技术领域的一大突破。但是，本文将对Eldan和Russinovich...

引言：AI时代的信息真伪辨识在人工智能迅猛发展的今天，我们面临着前所未有的信息真伪辨识挑战。AI技术，尤其是深度学习模型，已经能够生成极其逼真的图片、音频和视频内容，这些内容被统称为DeepFakes。DeepFakes的出现给信息的可信度和数字媒体的信任带来了严重的挑战。因此，识别DeepFakes成为了媒体取证领域中一个紧迫且关键的任务。这篇论文研究了多模态大语言模型（LLMs）在DeepFakes检测上的作用。通过定性和定量实验，...

引言：大语言模型的高效微调及其在多样化任务中的应用在人工智能领域，大语言模型（LLMs）已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力，从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而，要将这些模型适配到特定的下游任务中，通常需要进行微调（finetuning），这是一个资源密集型的过程。高效的微调方法因此成为了研究的热点，旨在减少训练成本，同时保持或提升模...

你有没有想过，如果有一天ChatGPT有了身体，跑到你办公桌上成了你的宠物，这是个多么有趣的场景，LOOI就是这样一款把幻想带进现实的产品不得不说，ChatGPT让具身智能达到了新高度，LOOI便应运而生。LOOI是什么LOOI是一个集成了ChatGPT为大脑的智能桌面机器人，你可以叫它为ˈluːi，类似于英美口音中的“Louie”（路易）。它可以理解复杂的指令，与人类顺畅地沟通。它还能通过视觉模块感知周围的一切，他会想要了解你在做什么，...

OpenAI又带来了一项超酷的进展！周五推出了一项名为VoiceEngine的语音引擎，仅凭一段15秒的声音样本，便能够精准模仿出那个人的声音。VoiceEngine的独特之处在于，它能通过简单的文本输入和短短音频样本，创造出非常接近原始说话者的自然声音。这意味着无论你让它读什么语言的文字，都能以那个人独有的声音风格朗读，效果既逼真又充满感情。总而言之，OpenAI通过这项新技术展示了人工智能复制人声的惊人可能性，接下来让我们一...