AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
Prompt-提示词, completions-补全，meta-learning-元学习
原创“老话说温故而知新，在大模型不断的使用过程中，慢慢会发现一些自己之前没有注意过的东西”今天我们来认识几个名词，当然这些名词也已经不是新名词了，但之前对它们的理解只停留在表面，而今天要来加深一些理解。提示词和补全以及元学习理论上来说提示词是与大模型打交道的基础，人类要想和大模型进行交互就必须通过提示词来实现。而从表面上来看，任何文本都可以作为提示词，但如何编写一个有效的提示词，才能让大模型更好地...提示词元学习大模型是能力强还是记忆强？一项发人深省的研究
精华
社区头条在AI领域，我们经常听到这样的说法："这个大模型太强了，连bug都能自动修复!"但你有没有想过，大模型修复bug的能力是真的掌握了bug修复的规律，还是简单地"记住"了训练数据中的bug修复案例呢？让我们打个比方。想象你是一个编程老师，你发现一个学生在期末考试中完美地解决了一个复杂的bug。不仅代码逻辑正确，连代码风格、变量命名、甚至注释都跟课本上的例子一模一样。这时候，你会觉得这个学生真的理解了问题的本质，还是在...大模型数据集AIo1的规划能力如何？LRM是未来吗？
嘿，大家好！这里是一个专注于AI智能体的频道今天给大家分享一个新研究，前顶会AAAI主席SubbaraoKambhampati发布的论文。能够规划一系列行动以实现预期目标，长期以来被认为是智能体的核心能力之一，并自人工智能研究之初便成为其不可或缺的一部分。随着大型语言模型（LLMs）的出现，关于它们是否具备这种规划能力的问题引起了广泛关注。我们于2022年开发的可扩展基准测试PlanBench，紧随GPT3的发布推出，至今仍是评估LLMs规划...o1LRM模型一文彻底搞懂深度学习 - 多头注意力（Multi-Head Attention）
原创 社区头条在深度学习中，多头注意力（MultiHeadAttention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。多头注意力机制已被广泛应用于各种深度学习任务中，包括但不限于机器翻译、文本摘要、语音识别、图像描述生成等。它在Transformer架构中扮演着至关重要的角色，而Transformer架构也已成为许多自然语言处理（NLP）任务的首选模...深度学习多头注意力多模态RAG利器，带你跑通Qwen2-VL-7B-Instruct大模型
社区头条想要玩转人工智能，特别是多模态数据处理，Qwen2VL7BInstruct模型绝对是个得力助手。今天带你详细了解这个模型，并教你如何将其用在多模态RAG系统里，让信息检索和生成变得更加高效、准确。1Qwen2VL7BInstruct：多模态AI的新高度Qwen2VL7BInstruct是一款先进的多模态AI模型，它在图像和视频的视觉理解与交互方面实现了重大突破。基于前代模型的优化，Qwen2VL7BInstruct增添了多项强大功能，使其能够适应多变环境，执行复杂任务...多模态RAG系统MobileLLM：“苗条”的模型比较好！
原创 精华1.MobileLLMMetaAI研究人员推出了MobileLLM，从arXiv论文时间上看2月份发布的，但是在六月底又更新了一版。MobileLLM利用四种先进技术，包括带有SwiGLU的FFN、深度和薄架构、嵌入共享和GQA，构建了一个强大的基线小型LLM，MobileLLM。它是专为智能手机和其他资源受限的设备而设计。研究人员将其训练出的MobileLLM125M350M和参数量相当的StateoftheArt（SOTA）模型如Cerebras、OPT、BLOOM等进行对话标杆测试。在零样本（zerosh...MobileLLM模型人工智能大模型“投毒”实习生起诉已受理：索赔800万！公开道歉！知情人：曾报警称自己被诬陷
原创 社区头条编辑伊风出品51CTO技术栈（微信号：blog51cto）没想到，闹得纷纷扬扬的字节实习生大模型「投毒」事件，竟然等来了后续！据媒体报道，北京市海淀区人民法院已正式受理字节跳动对前实习生田某某的起诉！田某某篡改代码的代价相当惨重。字节跳动的诉求是：法院判令田某某赔偿侵权损失800万元及合理支出2万元，同时要求其公开赔礼道歉。这个实习生到底闯了多大的祸，让字节跳动没有咽下这口气，而是选择高调起诉、杀一儆百。简而言...大模型字节跳动实习生阿里重磅开源QwQ-32B：自我思考、纠正，数学能力击败o1模型
社区头条阿里巴巴重磅开源了新模型——QwQ32BPreview。QwQ32B的主要特点就是推理很强，可以给出很长的透明化推理流程，这与国内DeepSeek前不久刚发布的R1Lite很相似。尤其是在数学、代码以及各种复杂推理任务上，QwQ32B可以生成数万字的推理流程，让用户深度了解模型生成内容的全过程。开源地址：https:huggingface.coQwenQwQ32BPreviewGithub：https:github.comQwenLMQwen2.5在线demo：https:huggingface.cospacesQwenQwQ32Bpreview根...模型开源超越SDEdit等七大SOTA，免训练多模态图像编辑里程碑：HeadRouter带来精准语义调整
文章链接：https:arxiv.orgpdf2411.15034项目链接：https:yucigpt.github.ioheadrouter亮点直击提供了对不同注意力头对各种编辑语义的影响的深入分析，以及在无交叉注意力的MMDiTs中，文本和图像token之间的相互作用。提出了HeadRouter，这是一种适用于MMDiTs的新型图像编辑方法，其中包括一个实例自适应Router，用于增强关键注意力头的语义表示，以及一个双重token优化模块，用于精确的文本引导和关键区域表达。在多个文本引导...图像生成模型艺术家泄露OpenAI Sora视频生成神器，附地址
Sora于2024年2月首次亮相，它用简单的文字提示制作出高质量的60秒视频片段，让所有人大吃一惊。它掀起了亚马逊、YouTube、阿里巴巴和电影制片厂Lionsgate的视频生成器浪潮，但目前尚未向公众开放。泄露地址是https:huggingface.cospacesPRPuppetsPRPuppetSora事件发生在11月27日，一个自称为“SoraPRPuppets”的组织在人工智能开发平台HuggingFace上发布了与SoraAPI相关的项目（PRPuppets）。这个项目允许用户使用Sora生成视频...OpenAISora视频测测Kimi新开的k0-math，你是数学模型，但我就测文本
晚上发现kimi也更新了，之前网上流传的kimi在数学上对标o1的模型，可以测试了。感觉有点迫于deepseek的压力了，本来应该是国内第一个的，长推理、类o1的模型，现在变成了第二个。模型版本叫k0math，在数学上的效果也是对标openaio1，官方也仅仅表示说在数学能力上较强。来自官方帖子https:mp.weixin.qq.comsg4DltigncX4sfaQ6Qn1zA但我非要测试看看在文本推理上的效果如何。测试界面是侧边栏的小眼镜图标，进来直接就可以测试，...Kimik0-math模型ChunkRAG：比CRAG提升10个点准确率
1.RAG目前存在的问题RAG系统前前发展取得了一定的成果，但是仍然存在一个问题：在获取文档时会检索到不相关或关联较弱的信息。目前的检索技术，即使是重排序和查询重写，不但不能滤除检索文档中的大量无关信息块，还致使响应生成出现一系列诸如事实不准确、不相关以及幻觉等问题。传统上RAG系统会检索大量整个文档的文本或者其中冗长的部分，认为这些冗长片段可能包含相关信息。然而，这类系统极少单独审视检索到的文档的章节或...ChunkRAGCRAGLLM7大顶尖AI修bug系统大PK，谁才是"代码医生"？ | 法语版BERT CamemBERT 2.0让AI更懂"法式幽默"
大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：1、7大顶尖AI修bug系统大PK，谁才是真正的"代码医生"？2、法语版BERT迎来重大升级！CamemBERT2.0让AI更懂"法式幽默"1、7大顶尖AI修bug系统大PK，谁才是真正的"代码医生"？随着大语言模型(LLM)的崛起，AI自动修复代码bug已经成为现实。但在众多基于LLM的修bug系统中，哪些表现更出色？哪些方案更可靠？一项针对7个顶尖系统的研...AI法式幽默系统解读 Marco - o1：迈向开放式推理模型的探索与实践
研究背景•研究问题：这篇文章要解决的问题是如何在大规模推理模型（LRM）中实现开放式推理，特别是在没有明确标准和难以量化的奖励的情况下。具体来说，研究了如何使o1模型能够有效地泛化到没有明确标准的更广泛领域。•研究难点：该问题的研究难点包括：在没有明确标准的情况下进行推理，奖励的量化挑战，以及如何在复杂现实世界问题解决任务中优化模型的性能。•相关工作：该问题的研究相关工作包括OpenAI的o1模型，它在AIME...模型口语化Marco - o1Jina CLIP v2：为多模态RAG设计的向量模型
原创多模态的数据通过统一的向量表示，可以实现不同模态数据的互相检索或者理解转换，是多模态AI应用的基石。Jina.ai最近推出了全新的通用多语言多模态向量模型JinaCLIPv2，在实现强大跨模态检索可能的同时，也为多模态RAG应用奠定了基础。Paper:https:arxiv.orgabs2405.20204Model:https:huggingface.cojinaaijinaclipv2概览JinaCLIPV2是一款通用的、多语言、多模态（文本与图像）Embedding模型多模态embedding技术能够通过一致的...多模态RAG向量模型解密o1推理过程！DeepSeek-R1-Lite预览版上线
GPTo1通过强化学习训练优化决策策略，并模拟人类思维链以深入理解问题，提供更准确的答案，在多个推理任务相关的榜单上实现了巨大的突破。而o1的思维过程是隐藏的。幻方旗下国产大模型公司DeepSeek近期预发布了R1模型，使用了强化学习训练，回复里包含大量反思和验证，思维链长度可达数万字，并且没有像o1一样隐藏思维链。Demo:https:chat.deepseek.com[模型和技术报告将会开源]DeepSeekR1DeepSeekR1系列模型采用强...GPT-o1Pixtral Large：124B的最强开源多模态大模型
原创近日，法国著名开源大模型平台Mistral.ai，开源了一个1240亿参数的超大多模态模型：PixtralLarge，在多个开源多模态评测上超越了GPT4o、Gemini1.5Pro、Claude3.5Sonnet、Llama3.2等商业模型或开源模型，成为目前最强的开源多模态大模型。Demo:https:chat.mistral.aiBlog:https:mistral.ainewspixtrallargeModel:https:huggingface.comistralaiPixtralLargeInstruct2411太长不看第一梯队的多模态性能在MathVista、DocVQA、VQAv...Pixtral Large多模态大模型开源ACL2024 |解释引导的大语言模型主动蒸馏：一种优化知识转移的创新框架 "ELAD"
大家好，我是HxShine今天分享一篇ACL2024关于LLM蒸馏的文章，来自EmoryUniversity，题为“ExplanationGuidedLargeLanguageModelsActiveDistillation”（解释引导的大型语言模型主动蒸馏）。在大型语言模型（LLMs）的应用中，由于其内存效率低、计算需求高以及API推理成本高，限制了其广泛部署。现有的知识蒸馏方法虽然能将LLMs的能力转移到较小模型上，但无法确保知识充分转移，可能导致高成本或蒸馏不完全。本文提出了一个简单...大语言模型主动蒸馏一文教会如何动手搭建AI Agent
原创 社区头条所谓智能体优势在于自动执行复杂任务，提升自动化和智能决策效率。AIagent可以应用于多个领域，包括客户服务、个人助理、智能家居控制、自动驾驶汽车、推荐系统等。它们可以是软件形式，如聊天机器人，也可以是集成到物理设备中的，如智能音箱或机器人。AIagent的设计和功能取决于其被分配的任务和所处的环境。Agent工作原理主要是四个步骤1.感知。通过传感器感知环境变化。2.记忆。根据历史数据在未来做更精确的决策。3.规划和...AI AgentLLM应用开发者新利好：再也不用写集成代码了！
原创 社区头条编辑言征进入今年以来，如何磕破头也要挤进大LLM应用的赛道成为了每一位开发者的心事。但上车LLM应用的人都知道，基于大模型做开发，远没有外界所说的“调接口”那么简单，开发人的痛，没人懂。比如，光定制代码就能把你搞到没脾气。大家也许不知道，LLM应用要访问外部数据，开发者就得写一堆定制的代码，又麻烦又重复，简直是噩梦！每个新的数据源都需要自定义的实现，这使得构建真正互联的AI系统难以扩展。好在模型独角兽们非...OpenAIAnthropicMCP
