AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
大模型之多模态检索
原创“多模态，一种让大模型更加像人的技术”多模态是目前人工智能领域非常重要的一个研究方向，也可以说多模态是走向AGI(通用人工智能)的一种方式，关于多模态的介绍可以看文章什么是多模态但从宏观来看多模态只是一种实现人工智能的方法论，其中有很多细分方向需要研究，比如多模态大模型，多模态检索等；然后不同领域还会涉及到不同的技术与难点。今天就来介绍一下多模态检索以及其技术问题和应用。多模态检索多模态检索是一个涉...人工智能多模态多模态检索大语言模型实践中的挑战与应对
论文标题：ChallengesandResponsesinthePracticeofLargeLanguageModels论文链接：https:arxiv.orgpdf2408.09416一、结论写在前面论文总结了来自各行各业的广泛而深刻的问题，聚焦当前备受瞩目的AI领域，涵盖行业趋势、学术研究、技术创新和商业应用等多个维度。论文细致筛选出既发人深省又具实践意义的问题，并针对每一问题提供细致入微且富有洞察力的答案。为便于读者理解和参考，论文特将这些问题从计算力基础设施、...大语言模型应对解决大型多模态模型的幻觉问题，新方法AITuning助力AI更可靠
精华引言：多模态对话幻觉的挑战在人工智能领域，开发能够通过视觉和语言等多种渠道与人类互动的通用助手是一个重要问题。受到大型语言模型（LLMs）如ChatGPT的显著成功的启发，研究社区对开发能够支持视觉语言指令的多模态助手，即大型多模态模型（LMMs），表现出了越来越浓厚的兴趣。这些模型在各种多模态任务中展现出了强大的零样本泛化能力，例如分类、检测、视觉问答（VQA）和图像描述。然而，尽管LMMs取得了巨大的成功，一些...多模态模型AIT一个开源、清晰、强大且可定制的RAG UI
kotaemon：一个开源的干净且可定制的RAGUI，用于构建和定制自己的文档问答系统。既考虑了最终用户的需求，也考虑了开发者的需求。kotaemon为想要在他们的文档上进行问答（QA）的最终用户，以及想要构建自己的RAG流程的开发者提供了一个功能性的RAGUI。++最终用户：使用kotaemon构建的应用程序的用户。（您使用的应用程序类似于上面的演示示例）++开发者：使用kotaemon构建应用程序的人。（您的项目中某处有importkotaemon）++贡...RAG开源系统从噪声中提取情感：中山大学与腾讯AI实验室基于元学习的多模态情感分析新方法
随着科技的迅猛发展和社交媒体平台的普及，多模态数据在各种下游应用中变得越来越普遍。多模态情感分析（MultimodalSentimentAnalysis,MSA）作为一种能够从语言、声学和视觉数据流中提取人类情感和观点的技术，近年来受到了广泛关注。MSA在多个领域具有重要应用，包括通过分析用户在社交媒体上的文本、语音和视频内容，了解用户的情感倾向和观点，有助于品牌管理和市场营销。在智能助手和聊天机器人中，MSA可以帮助系统更好地理...腾讯AI中山大学突破：美AI安全研究所与Anthropic和OpenAI签署合作协议，推动AI安全新纪元
你知道吗？在我们热烈讨论AI能带来多少便利的同时，AI的安全性问题也变得愈发棘手。就在近日，美国AI安全研究所（AISafetyInstitute）宣布了一项震撼的消息——他们与科技巨头Anthropic和OpenAI签署了一系列前所未有的合作协议，这将如何改变我们的未来？AI安全合作：迈出关键一步历史性的协议：标志性合作2024年8月29日，美国商务部国家标准与技术研究院（NIST）下属的AI安全研究所宣布，已经与Anthropic和OpenAI达成正式合作...AIOpenAI协议Gemini的AI生图消失数月终重返！Imagen 3或成谷歌“大招”，为避免Deepfake绞尽脑汁，网友：最逼真的AI人像
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）谷歌Gemini的AI生图功能在漫长的沉寂后官宣重返！并推出了重大升级后的模型Imagen3！此前，Gemini的这项功能因为过分注重“政治正确”而被群嘲。例如生成了黑人形象的华盛顿等等，在引起广泛争议之后，这项功能随之被禁用。现在，谷歌对其进行了升级，并准备在“未来几天”向部分用户进行灰度测试，该早期版本暂时只支持英语。时隔数月，想必Imagen3被谷歌寄于厚望，准备干票大的...AI生图谷歌顶穿天花板！AI编程初创公司挑战1亿上下文窗口，编码能力超级加倍！
原创编辑言征超长上下文窗口的天花板来了！刚刚宣布新一轮3.2亿美元融资的AI编码初创新星Magic刚刚放出了一个重磅炸弹：推出首个1亿上下文窗口的模型LTM2mini！图片想一下，1亿上下文窗口，相当于你可以在prompt中直接丢给大模型1000万行代码或者750本英文小说，然后告诉大模型一次性消化这些内容，并从这些内容中得到你想要的答案，而不用再需要来一次微调、SFT，就可以极低成本的让大模型秒变成一个定制版的。1.AI辅助编程的新角...AI编程窗口清华大学揭露RAG的双面性：全面分析揭示大模型中RAG噪声的作用
精华引言：RAG技术与大型语言模型中的噪声问题在大型语言模型（LLMs）的研究与应用中，噪声问题一直是一个不容忽视的挑战。这些模型在处理复杂的语言理解和生成任务时，往往需要从海量的数据中提取有用信息。然而，互联网上充斥着各种非标准的噪声信息，如AI生成的虚假新闻、过时内容、拼写错误等，这些噪声可能会影响模型的性能。为了解决这一问题，近年来，检索增强生成（RetrievalAugmentedGeneration,RAG）技术应运而生。RAG技...RAGLLMs检索时频图像分类，还在用VGG、ResNet?
SwinTransformer是一种通用视觉任务的Backbone而存在的模型，以替代CNN：（1）层次化设计：SwinTransformer引入了层次化特征表示的概念，类似于CNNs中常见的金字塔结构。这使得它在处理高分辨率图像时更加高效，能够逐步聚合信息，并以多尺度特征应对不同的视觉任务。（2）滑动窗口机制：SwinTransformer通过滑动窗口的方式计算注意力，使得每个窗口内部的注意力计算复杂度大幅降低。这种局部注意力机制有效地解决了ViT在高分辨...VGGResNetGADF深度比较：Kimi AI还是ChatGPT-4.0？
在人工智能技术飞速发展的今天，KimiAI和ChatGPT4.0这两个AI工具吸引了广泛的关注。这两个平台各有其特色，但对于用户来说，选择最适合自己需求的工具是一个必须面对的问题。本文将通过多个维度对这两个工具进行比较，以帮助读者做出更明智的选择。功能对比首先，从功能性来看，KimiAI和ChatGPT4.0都提供了基本的文字对话和文档分析功能。然而，ChatGPT4.0在这些基础功能之上，引入了几个创新的扩展功能，如绘图能力（Dalle3）...Kimi AIChatGPT性能GraphRAG重走西游路，看悟空那些年历经的劫难！
《黑神话：悟空》很火，微软GraphRAG很火，SoGraphRAG分析整部《西游记》小说原文，看悟空：“天命人”那些年历经的九九八十一难！顺便聊一下GraphRAG社区发现过程中一些小坑。GraphRAG配置：qwen1.514b、bgem3e。西游记社交关系整个图谱形成两个比较大的中心“孙悟空”、“唐僧”；然后围绕人物所经历的一些时间展开：花果山、大闹天空、取经之路等等。GraphRAG孙悟空思维导图GraphRAG对西游记的整体概括《西游记》是一部富含...GraphRAG配置社交关系边缘计算与AI：分布式智能的应用前景
边缘计算与AI的结合，即AI边缘计算，是一种将人工智能技术与边缘计算优势相结合的计算模式。这种模式通过将数据处理和存储功能推近数据源或数据使用的地方，显著减少了数据在传输过程中的延迟和带宽消耗。在AI的助力下，边缘设备（如传感器、智能手机、摄像头等）能够即时响应数据，实现快速决策和实时反馈。分布式智能的应用前景在多个领域展现出巨大的潜力。随着物联网、智能制造、智能交通等行业的快速发展，边缘计算在这些...边缘计算AI应用前景微软研究院发布无代码开发工具 AUTOGEN STUDIO，简化多智能体系统的构建与调试
多智能体系统（MultiAgentSystems,MAS）是由多个智能体（agents）协同工作以解决复杂任务的系统。这些智能体可以是生成式AI模型、工具或其他计算单元，它们通过协作来完成单个智能体难以独立完成的任务。多智能体系统在许多领域展现了其强大的应用潜力，包括自动驾驶、智能制造、金融分析和医疗诊断等。在这些应用中，多智能体系统能够处理长时间运行的复杂任务，提供更高的灵活性和适应性。尽管多智能体系统具有巨大的潜力，但...微软系统调试用ChatGPT逆向工程压缩后的Js代码，表现惊艳
精华互联网世界里，每个开发者都有这么一个瞬间：你遇到一个炫酷的小组件，想知道它是怎么实现的，但源码却是最小化的，看起来全是乱码。这时，你会怎么做？今天，FrankFiegel要和大家分享一个非常时髦和实用的方法——用ChatGPT来逆向工程被压缩的JavaScript代码。发现炫酷组件在某个闲暇的夜晚，我无意间浏览到了一个网站，发现了一个非常有趣的组件(https:reactive.networkhackathon)。它展示了一个以ASCII艺术形式呈现的动态动...ChatGPTJs代码介绍一种实用的RAG技术：父文档检索（PDR）
原创父文档检索（PDR）能够使RAG更准确、细致地响应各种复杂的查询。本文将利用LangChain和OpenAI向你展示其分步实施步骤。作为一种能在先进的RAG（RetrievalAugmentedGeneration，检索增强生成）模型中实现的方法，父文档检索（ParentDocumentRetrieval，PDR）旨在恢复那些可以从中提取到相关子段落（或片段）的完整父文档。此类文档通过将丰富的上下文，传递给RAG模型，以便对复杂或细微的问题，做出更全面且内涵丰富的回答。通常...RAG技术父文档检索人工智能Agent Q：具备自我学习、评估的智能体
GPT4、Gemini等大模型在自然语言处理任务中取得了进步，但在交互式、多步骤环境中的泛化能力仍有欠缺。例如，当我们在网上购买一件特定的商品时，需要在众多网页中进行搜索、比较和选择。AGI平台MultiOn和斯坦福的研究人员联合开发了一种智能体AgentQ，能自主规划、推理一些任务。AgentQ与其他智能体最大差别的是，它能从失败和成功的任务中自动学习、评估，从而提高在复杂多步骤推理任务中的泛化能力。论文地址：https:multion...模型智能体阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！
阿里巴巴开源了最新视觉多模态模型Qwen2VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT4o，Anthropic的Claude3.5Sonnet等著名闭源模型，成为目前最强多模态模型之一。Qwen2VL支持中文、英文、日文、韩文等众多语言，可以在Apache2.0协议下进行商业化使用。同时阿里发布了Qwen2VL72B的API，帮助开发者增强或开发多模态功能的生成式AI应用。开源地址：https:huggingface.cocollectionsQwenqwen2vl66cee7455501d71...开源视频史上最强文生图模型？谷歌Imagen3内部详细评估资料解读
精华文章链接：https:arxiv.orgpdf2408.07009亮点直击Imagen3，目前Google最好的文生图扩散模型，是一种潜在扩散模型，可以从文本提示生成高质量的图像。详细描述了Imagen3质量和责任评估，发现Imagen3相比其他SOTA模型更受欢迎。讨论了安全和表征问题，以及用于最小化本文模型潜在危害的方法。数据Imagen3模型在一个大型数据集上进行训练，该数据集包含图像、文本和相关注释。为了确保质量和安全标准，本文采用了多阶段的过滤过程...模型谷歌数据高效和计算高效全都要！中科大&微信等提出多模态大语言模型EE-MLLM
论文链接：https:arxiv.orgpdf2408.11795亮点直击本文重新审视了多模态大型语言模型中的模态对齐问题，指出了基于自注意力和交叉注意力方法的效率和效果问题。本文为EEMLLM提出了一种复合注意力机制，以提高数据和计算效率。本文的EEMLLM在各种基准测试中表现出色，同时推理速度得到了很大提升。在多模态研究领域，许多研究利用大量图文对进行模态对齐学习，将大型语言模型（LLMs）转变为多模态LLMs，并在各种视觉语言任务中表...数据语言模型
