AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
Agent Q：具备自我学习、评估的智能体
GPT4、Gemini等大模型在自然语言处理任务中取得了进步，但在交互式、多步骤环境中的泛化能力仍有欠缺。例如，当我们在网上购买一件特定的商品时，需要在众多网页中进行搜索、比较和选择。AGI平台MultiOn和斯坦福的研究人员联合开发了一种智能体AgentQ，能自主规划、推理一些任务。AgentQ与其他智能体最大差别的是，它能从失败和成功的任务中自动学习、评估，从而提高在复杂多步骤推理任务中的泛化能力。论文地址：https:multion...模型智能体阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！
阿里巴巴开源了最新视觉多模态模型Qwen2VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT4o，Anthropic的Claude3.5Sonnet等著名闭源模型，成为目前最强多模态模型之一。Qwen2VL支持中文、英文、日文、韩文等众多语言，可以在Apache2.0协议下进行商业化使用。同时阿里发布了Qwen2VL72B的API，帮助开发者增强或开发多模态功能的生成式AI应用。开源地址：https:huggingface.cocollectionsQwenqwen2vl66cee7455501d71...开源视频史上最强文生图模型？谷歌Imagen3内部详细评估资料解读
精华文章链接：https:arxiv.orgpdf2408.07009亮点直击Imagen3，目前Google最好的文生图扩散模型，是一种潜在扩散模型，可以从文本提示生成高质量的图像。详细描述了Imagen3质量和责任评估，发现Imagen3相比其他SOTA模型更受欢迎。讨论了安全和表征问题，以及用于最小化本文模型潜在危害的方法。数据Imagen3模型在一个大型数据集上进行训练，该数据集包含图像、文本和相关注释。为了确保质量和安全标准，本文采用了多阶段的过滤过程...模型谷歌数据高效和计算高效全都要！中科大&微信等提出多模态大语言模型EE-MLLM
论文链接：https:arxiv.orgpdf2408.11795亮点直击本文重新审视了多模态大型语言模型中的模态对齐问题，指出了基于自注意力和交叉注意力方法的效率和效果问题。本文为EEMLLM提出了一种复合注意力机制，以提高数据和计算效率。本文的EEMLLM在各种基准测试中表现出色，同时推理速度得到了很大提升。在多模态研究领域，许多研究利用大量图文对进行模态对齐学习，将大型语言模型（LLMs）转变为多模态LLMs，并在各种视觉语言任务中表...数据语言模型谷歌团队首推神经模型驱动的游戏引擎，马斯克：特斯拉也做类似的事！JimFan：数据是关键
原创编辑言征、伊风出品51CTO技术栈（微信号：blog51cto）你没有听错！一提到游戏引擎，你肯定会联想到虚幻5（不自主地再提一次《黑神话：悟空》），Unity，Cocos，但你会想到用来生成图像的扩散模型也被认为是一种游戏引擎吗？图片昨晚，谷歌DeepMind发布了一款GameNGen的神经模型，给出的生成效果，让人们惊呼：世界模型要来了！据介绍，GameNGen，是首个完全由神经模型驱动的游戏引擎，它能够在长轨迹中以高质量实现与复杂环境的...模型谷歌团队游戏引擎一起聊聊图检索增强生成
图片一、结论写在前面论文来自北京大学、浙江大学、蚂蚁集团、中国人民大学、美国罗格斯大学论文标题：GraphRetrievalAugmentedGeneration:ASurvey论文链接：https:arxiv.orgpdf2408.08921通过参考外部知识库，RAG优化了LLM输出，有效缓解了“幻觉”、缺乏领域特定知识及信息过时等问题。然而，数据库中不同实体间复杂的关系结构给RAG系统带来了挑战。为此，图RAG（GraphRAG）利用实体间的结构信息，实现更精确全面的检...图检索增强生成大模型微调终极指南
大家好，我是刘聪NLP。今天给大家带来一篇大模型微调相关的最新综述，主要大模型微调归纳为7个阶段分别为数据准备、模型初始化、训练环境配置、模型微调、模型评估与验证、模型部署以及模型监控与维护。Paper:https:arxiv.orgabs2408.13296模型微调（FineTuning）就是以预训练模型为基础，通过相对较少的特定数据集进行的进一步训练，主要是在模型预先存在的知识之上用过减少数据和计算成本来提高特定任务的效果。模型预训练与...模型微调日志分析视频生成类大模型实现原理以及应用和难点
原创“视频生成属于计算机视觉领域，还包括图像处理等”生成式大模型在文本，图像，视频等方面表现良好，而我们都知道文本生成大模型是基于自然语言处理技术，而视频生成的大模型又是怎么实现的呢？今天我们就来学习一下视频生成类大模型的实现原理和应用以及面临的挑战和难点。视频生成类大模型的原理和应用以及困难点视频生成大模型是指利用先进的机器学习技术生成视频内容的模型。这一领域结合了深度学习、计算机视觉和自然语言...计算机视觉神经网络图像处理优雅谈大模型：Python编程篇
原创Python在机器学习领域的地位十分关键，虽然后面有Julia，Mojo等其他对手的挑战，然而Python拥有庞大的机器学习库和框架，尤其是生态系统比以往任何时候又强大了不少。从另外维度它和Java，Scala，Go，Rust等编程语言对比，在工程化方面还是稍欠火候。本文科普和机器学习相关Python库，而这类的使用者往往是机器学习从业者和数据科学家。来自GoogleBrain的TensorFlow仍然是最受欢迎和强大的机器学习库之一。它是开源，全面且灵活...Python编程模型Multi-Agent实现自动爬虫&生成图谱报告
嘿，大家好！这里是一个专注于AI智能体的频道！CAMELAI在Mistralcookbook上新增了一个教程。主要内容为：如何利用CAMEL的RAG与Firecrawl相结合，以实现高效的网络爬虫、multiagent角色扮演任务和知识图谱构建。示例是介绍一个使用Mistral模型对2024年巴黎奥运会土耳其射手进行全面研究的示例。图可能看不清，Agentops和output单独截图在下方：2个Agent，一个作为User提出指令，另外一个作为Assistant，执行任务。aiuser>instruc...自动爬虫生成图谱CAMEL震撼！AI实时生成游戏，每秒20帧输出，DeepMind扩散模型最新突破一夜爆火
精华“比Sora还震撼”，AI可以实时生成游戏了！谷歌DeepMind打造出了首个完全AI驱动的实时游戏引擎——GameNGen。在单个谷歌TPU上，它以每秒20帧模拟起了经典射击类游戏DOOM（毁灭战士）。所有游戏画面都是根据玩家操作，与复杂环境进行交互，实时生成。也就是说你走进一道门之前，门后的内容还不存在。质量不输事先存储的那种，能“以假乱真”，人类评估者都难以察觉。各种操作都能丝滑转换：GameNGen的背后是大家熟悉的扩散模型...AI生成游戏视频生成控制提升几十倍，新一代轻量级ControlNeXt火了，贾佳亚团队正挑战Scaling Law
最近，又一款国产AI神器吸引了众网友和圈内研究人员的关注！它就是全新的图像和视频生成控制工具——ControlNeXt，由思谋科技创始人、港科大讲座教授贾佳亚团队开发。X平台上知名AI博主「AK」推荐从命名来看，ControlNeXt「致敬」了斯坦福大学研究团队在2023年2月提出的ControlNet，通过引入一些额外的控制信号，让预训练的图像扩散模型（如StableDiffusion）根据预设的条件调整和优化，实现线稿生成全彩图，还能做语义分割、边...模型生成Meta最新成果：前所未有的加速Emu推理 | Imagine Flash：新型蒸馏框架发布
精华文章地址：https:arxiv.orgpdf2405.05224扩散模型是一个强大的生成框架，但推理过程非常昂贵。现有的加速方法通常会在极低步骤情况下牺牲图像质量，或者在复杂条件下失败。这项工作提出了一个新颖的蒸馏框架ImagineFlash，旨在通过仅使用一到三个步骤实现高保真度和多样化样本生成。方法包括三个关键组成部分：反向蒸馏，通过校准学生模型自身的反向轨迹来缓解训练推理差异；迁移重构损失，根据当前时间步动态调整知识传递；...Meta框架2024年以来，学术和产业界的那些SOTA多模态大模型的架构演进之路
精华作者：Dreamweaver(已授权转载)编辑：AI生成未来链接：https:zhuanlan.zhihu.comp706145455本文是《多模态视觉语言大模型的架构演进》的续篇，聚焦2024年以来学术界和产业界的SOTA多模态大模型(MultimodalLargeLanguageModels,MLLM)，分享架构设计中的深刻见解与最佳实践。我们会发现，最新流行的MLLM架构大多采用类LLaVA的ViT+MLP+LLM范式。得益于LLaVA的精简设计、数据和训练高效性、更强的baseline性能，LLaVA架构建立起了良...模型架构谷歌发布Imagen 3，超过SD3、DALL・E-3
谷歌DeepMind发布了全新文生图模型Imagen3，在文本语义还原、色彩搭配、文本嵌入、图像细节、光影效果等方面相比第二代大幅度提升。Imagen3的评测效果也比SD3、DALL・E3、Midjourney等知名开闭源模型更好。目前，Imagen3已经可以在美国地区使用，未来谷歌会持续扩大使用范围。论文地址：https:arxiv.orgabs2408.07009传统的扩散模型通常从随机噪声开始，然后通过一系列迭代步骤逐步恢复图像的真实细节。但在处理高维复杂数据、...模型AI深度学习模型之——生成对抗网络模型(GANs)
原创“深度学习模型有多种方式，神经网络模型只是其中一种”在人工智能领域有多种不同的流派，而目前最火的就是机器学习领域；而机器学习领域又有机器学习和深度学习，在深度学习中又有不同的神经网络，比如Transformer，CNN，RNN等。今天我们就来介绍另一种深度学习模型——生成对抗网络模型(GANsGenerativeAdversarialNetworks)。生成对抗网络模型——GANs生成对抗网络模型——GANs(GenerativeAdversarialNetworks)是一种深度学习...深度学习GANs详解用于相似和抄袭检测的技术Shingling
原创本文将向你介绍shingling的概念、Shingling技术的基础知识、Jaccard相似性、以及高级技术和优化。在数字时代，信息随时可用且易于访问，需要一种能够检测抄袭（有意或无意）的技术，从内容复制到增强自然语言处理能力。Shingling的功能与众不同之处在于它扩展到各种应用程序的方式，包括但不限于文档集群、信息检索和内容推荐系统。本文概述了以下内容：理解Shingling的概念探索Shingling的基础知识Jaccard相似度：测量文本相似...Shingling抄袭检测信息检索Anthropic 公开了自家的模型“操作说明”，业界大赞：Nice，非常透明！
原创编辑星璇出品51CTO技术栈（微信号：blog51cto）OpenAI的竞争对手初创公司Anthropic昨天发布了其Claude系列人工智能模型的系统提示（SystemPrompt），并承诺未来将继续这样做，为快速发展的人工智能行业树立了新的透明度标准。图片1.系统提示为什么这么重要？系统提示的作用很像大型语言模型（LLM）的操作说明，告诉模型在与用户交互时应该遵循的一般规则以及应该表现出的行为或个性，它们还倾向于显示LLM在训练期间学习到的信息...AnthropicAI机器人字节跳动发布统一多模态大模型 Show-o!
引言：多模态理解与生成的新篇章在人工智能的发展历程中，多模态理解与生成一直是研究的热点领域。随着技术的进步，从单一模态到多模态的转变，使得机器能够更全面地理解和生成信息，极大地拓宽了人工智能的应用范围。本文介绍的研究成果，展示了如何通过一个统一的Transformer模型——Showo，来实现对多种模态输入的理解与生成，这标志着在多模态人工智能领域的一个重要进步。1.论文标题与链接论文标题：SHOWO:ONESINGLETRANSF...字节跳动模型多模态时频图像分类，还在用VGG、ResNet?
SwinTransformer是一种通用视觉任务的Backbone而存在的模型，以替代CNN：图片（1）层次化设计：SwinTransformer引入了层次化特征表示的概念，类似于CNNs中常见的金字塔结构。这使得它在处理高分辨率图像时更加高效，能够逐步聚合信息，并以多尺度特征应对不同的视觉任务。（2）滑动窗口机制：SwinTransformer通过滑动窗口的方式计算注意力，使得每个窗口内部的注意力计算复杂度大幅降低。这种局部注意力机制有效地解决了ViT在高...VGGResNet模型
