AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
详解Latte：应用于文生视频的DiT模型
随着Sora的成功发布，视频DiT模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT[1]的成功为图像生成的规模化提供了可能性。然而，由于视频数据的高度结构化与复杂性，如何将DiT扩展到视频生成领域却是一个挑战，来自上海人工智能实验室的研究团队联合其他机构通过大规模的实验回答了这个问题。早在去年11月，该团队就已经开源了一款与Sora技术相似的自研模型：Latte。作为全球首个开源...DiT模型视频首个开源世界模型！百万级上下文，长视频理解吊打GPT-4，UC伯克利华人一作
首个开源「世界模型」来了！来自UCberkeley的研究人员发布并开源了LWM（LargeWorldModel）系列模型：论文地址：https:arxiv.orgpdf2402.08268.pdf代码地址：https:github.comLargeWorldModelLWMLWM采用了一个包含各种视频和书籍的大型数据集，利用RingAttention技术对长序列进行可扩展的训练，最终将上下文长度增加到1Mtoken。在超长上下文的加持下，LWM系列模型可以轻松完成各种多模态任务，比如文本图像生成...开源 模型音乐ChatGPT 2.0来了！AI作曲家被踢馆，亲测周杰伦爆款大翻车
200多名音乐人联名签公开信抗议Suno的余音还未消，AI音乐又出新工具了——StabilityAI，也下场卷AI音乐了！看来，核心开发人员的出走，并没有减慢它发布产品的步伐。就在刚刚，StabilityAI发布了StableAudio2.0。仅仅用一条自然语言指令，它就能以44.1kHz的立体声质量，创作出高质量、结构完整的音乐作品。而且，每首曲目最长可达3分钟！相比之下，Suno最长可创作2分钟，这方面可是被StableAudio2完爆了。并且，Audo2.0的音频到...AI 音乐拒绝白人与亚洲人同框，Meta图像生成器的「歧视」，被人挖出来了
精华在人工智能构筑的世界中，AI有时会像人一样存在着某种偏见或倾向性。比如对于大语言模型而言，由于训练数据的影响会不可避免地存在性别偏见、种族刻板印象，等等。当然，这种偏见或倾向性在图像生成工具中同样存在。今年2月，谷歌Gemini被曝出拒绝在图像中描绘白人，生成大量违背基本事实（性别、种族、宗教等）的图片。马斯克也被系统过分矫正了。近日，外媒TheVerge的一篇文章指出，Meta的AI图像生成器无法准确生成「亚洲男性...Meta 生成器Up主已经开始鬼畜，腾讯开源「AniPortrait」让照片唱歌说话
「小破站鬼畜区的新质生产力工具。」近日，腾讯开源发布的一个新项目在推上获得了如此评价。这个项目是AniPortrait，其可基于音频和一张参考图像生成高质量动画人像。该项目刚上线几天，就已经收获了广泛好评：GitHubStar数已经突破2800。下面我们来看看AniPortrait的创新之处。论文标题：AniPortrait:AudioDrivenSynthesisofPhotorealisticPortraitAnimation论文地址：https:arxiv.orgpdf2403.17694.pdf代码地址：https:github...开源 模型让智能体像孩子一样观察别人学习动作，跨视角技能学习数据集EgoExoLearn来了
在探索人工智能边界时，我们时常惊叹于人类孩童的学习能力——可以轻易地将他人的动作映射到自己的视角，进而模仿并创新。当我们追求更高阶的人工智能的时候，无非是希望赋予机器这种与生俱来的天赋。由上海人工智能实验室，南京大学，中科院深圳先进技术研究院牵头，联合东京大学，复旦大学，浙江大学，中国科学技术大学等高校的学生和研究者，共同公布了跨视角技能学习数据集EgoExoLearn，为机器人赋予了通过观察他人学习新动...基准测试 模型值得你花时间看的扩散模型教程，来自普渡大学
扩散模型（DiffusionModel）是图像生成模型的一种。有别于此前AI领域大名鼎鼎的GAN、VAE等算法，扩散模型另辟蹊径，其主要思想是一种先对图像增加噪声，再逐步去噪的过程，其中如何去噪还原图像是算法的核心部分。而它的最终算法能够从一张随机的噪声图像中生成图像。近年来，生成式AI的惊人增长为文本到图像生成、视频生成领域等许多令人兴奋的应用提供了支持。这些生成工具背后的基本原理是扩散的概念，这是一种特殊的采样机...模型 教程生成型人工智能优化框架研究
原创简介生成类似人类的文本和语音曾经只有在科幻小说中才成为可能。但是，GPT3和PaLM等大型语言模型（LLM）的快速发展使这一愿景更接近现实，并且相应地出现一系列基于它们的从聊天机器人到内容创建等领域颇有前景的商业应用程序。然而，通用的基础模型往往无法满足特定行业场景的具体需求。企业对其生成型人工智能应用程序有不同的要求，涉及到从性能、成本、延迟性乃至到可解释性等诸多方面。此外，可用于模型训练的数据的性质和...人工智能大型语言模型AI中科大等意外发现：大模型不看图也能正确回答视觉问题！
大模型不看图，竟也能正确回答视觉问题？！中科大、香港中文大学、上海AILab的研究团队团队意外发现了这一离奇现象。他们首先看到像GPT4V、GeminiPro、Qwen1.572B、YiVL34B以及LLaVANext34B等大模型，不管是闭源还是开源，语言模型还是多模态，竟然只根据在多模态基准MMMU测试中的问题和选项文本，就能获得不错的成绩。△蓝色表示能看到图的LVLMs，橘色和绿色分别表示只接收问题和选项文本的LLMs和LVLMs（LLM：大语言模型；LVLM...模型 技能谷歌更新Transformer架构，更节省计算资源！50%性能提升
谷歌终于更新了Transformer架构。最新发布的MixtureofDepths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。这一方法刚刚发布，就马上引发关注。MoE风头正盛，MoD已经来后浪拍前浪了？还有人开始“算账”：听说GPT4Turbo在Blackwel...模型 谷歌10万美元训出Llama-2级大模型！全华人打造新型MoE，贾扬清SD前CEO围观
“只需”10万美元，训练Llama2级别的大模型。尺寸更小但性能不减的MoE模型来了：它叫JetMoE，来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama2。△贾扬清转发要知道，后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源，且学术界友好：仅使用公开数据集和开源代码，用消费级GPU就能进行微调。不得说，大模型的打造成本，真的比人们想的要便宜更多了。Ps.StableDiffusion前老板Emad也点了赞：10万美刀实现Llam...MoE 大模型弱智吧竟成最佳中文AI训练数据？！中科院等：8项测试第一，远超知乎豆瓣小红书
离大谱了，弱智吧登上正经AI论文，还成了最好的中文训练数据？？具体来说，使用弱智吧数据训练的大模型，跑分超过百科、知乎、豆瓣、小红书等平台，甚至是研究团队精心挑选的数据集。在问答、头脑风暴、分类、生成、总结、提取等8项测试中取得最高分。没错，论文中的Ruozhiba就是指百度贴吧弱智吧，一个充满荒谬、离奇、不合常理发言的中文社区，画风通常是这样的：最离谱的是，弱智吧AI代码能力也超过了使用专业技术问答社...模型 训练开源大模型AI代理操作系统：像Windos一样，操控AI代理
去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题。因此，罗格斯大学的研究人员开源了AIOS，这是一种以大模型为核心的AI代理操作系统。可有效解可决随着AI代理的增加，资源调用率低的难题，同时能促进代理之间的上下文切换、实现并发执行代理并维护代理的访问控制。开源地址：https:github.comagiresearchAIOS论文地址：https:a...AIOS 代理大模型新漏洞！Anthropic警告：新式“多轮越狱”攻破AI防线，或祸起长文本
撰稿丨诺亚如何让一个AI回答一个它本不应该作答的问题？有很多这种所谓的“越狱”技术，而Anthropic的研究人员最近发现了一种新方法：如果首先用几十个危害性较小的问题对大型语言模型（LLM）进行预热，就能诱使其告诉你如何制造炸弹。他们将这种方法称为“多轮越狱”，不仅撰写了相关论文，还将其告知了人工智能领域的同行们，以便能采取措施来减轻这一风险。1.长文本越卷越离谱，不料却成“祸端”这个新的漏洞是由于最新一代L...AI漏洞模型在ChatGPT中，能用DALL·E 3编辑图片啦！
4月3日，OpenAI开始向部分用户，提供在ChatGPT中的DALL·E3图片编辑功能。DALL·E3是OpenAI在2023年9月20日发布的一款文生图模型，其生成的图片效果可以与Midjourney、leonardo、ideogram等顶级产品媲美，随后被融合到ChatGPT中增强其多模态能力。但有一个很大的问题是，人们无法对AI生成的内容进行精准控制，因为这些都是神经元随机生成的，即便你用最精准的提示词也无法做到。所以，OpenAI推出了DALL·E3的可视化编辑功能，帮...图片ChatGPT80M参数打平GPT-4！苹果发超强上下文理解模型，聪明版Siri马上就来
会读心的Siri想不想要？今天，苹果发布了自家的最新模型ReALM，仅需80M参数，就能在上下文理解能力上打平甚至超越GPT4！论文地址：https:arxiv.orgpdf2403.20329.pdfReALM可以将任何形式的上下文转换为文本来进行理解，比如解析屏幕、多轮对话、以及上下文中的引用。在此基础上，用户正在关注什么，甚至是想些什么，都逃不过AI的法眼。有了这个技术，你的Siri会反应更快，而且更加智能。比如你让Siri推荐一些披萨店，在...模型 数据华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
华人又来炸场了！昨天，普林斯顿的CSNLP硕士生JohnYang在Github上开源了一款堪比Devin的利器。不到一天，就在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文就会公开！图片1.让语言模型秒变编程Agent！SWEagent是一款用于自主解决Github存储库问题的新系统，在SWEbench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！！图片此外，SWEagent通过与专用终端交互来工作，这使得它能够：打...GPT-4RAGDevinOpenAI竞对用256轮对话「灌醉」大模型，Claude被骗造出炸弹！
大模型又被曝出安全问题？这次是长上下文窗口的锅！今天，Anthropic发表了自己的最新研究：如何绕过LLM的安全限制？一次越狱不够，那就多来几次！论文地址：https:wwwcdn.anthropic.comaf5633c94ed2beb282f6a53c595eb437e8e7b630ManyShotJailbreaking202404020936.pdf在拿着Claude3一家叫板OpenAI之余，Anthropic仍然不忘初心，时刻关注着他的安全问题。一般情况下，如果我们直接向LLM提出一个有害的问题，LLM会委婉拒...模型LLM还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024
短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初始方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义，论文已入选CVPR2024。视频demo展示、数据特性演示以及...计算机视觉 视频华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
基于Transformer架构的大语言模型在NLP领域取得了令人惊艳的效果，然而，Transformer中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。此前，研究者们提出了线性Transformer、Mamba、RetNet等。这些方案可以大幅降低Transformer计算成本，并且取得媲美原有模型的精度，但是由于架构更换，模型重训练带来的巨大成本令人望而却步。为了解决这一问题，最近的一篇论文提出了一种基于频...LLM 架构
