AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
一文搞懂 DeepSeek - 强化学习和蒸馏
原创
社区头条这个春节，DeepSeek实在太火爆了。DeepSeekR1在其论文（https:arxiv.orgabs2501.12948）引言部分指出，R1模型通过融合冷启动数据、多阶段训练流程以及纯粹的强化学习策略，显著增强了大型语言模型的推理能力。这使得R1模型在性能上与OpenAI的o1系列模型持平，并且通过蒸馏技术，成功地将这种推理能力传递给了更小型化的模型。在DeepSeekR1的“贡献”章节中，着重强调了以下两点创新：1.模型训练完成后：对基础模型实施...DeepSeek强化学习蒸馏从低清到4K的魔法：FlashVideo突破高分辨率视频生成计算瓶颈(港大&港中文&字节)
论文链接：https:arxiv.orgpdf2502.05179项目链接：https:github.comFoundationVisionFlashVideo亮点直击提出了FlashVideo，一种将视频生成解耦为两个目标的方法：提示匹配度和视觉质量。通过在两个阶段分别调整模型规模、分辨率和优化策略，本文的方法相比现有方法实现了更高的效果和效率。通过流匹配（flowmatching）构造了从低质量视频到高质量视频的近乎直线的ODE轨迹，使得视频在仅4次函数评估内即可融入丰富细节。本文的...视频生成AI模型港大&字节发布领先商用级图像视频生成模型Goku有点东西
社区头条文章链接：https:arxiv.orgpdf2502.04896项目链接：https:saiyanworld.github.iogoku亮点直击业界领先的文本生成图像和视频能力，在多个基准测试中创下新纪录。创新性地引入RectifiedFlowTransformer，提高图像视频的联合生成质量。构建大规模高质量数据集，结合MLLM&LLM提高文本描述质量。优化计算效率与训练稳定性，支持大规模分布式训练，实现高效推理。总结速览解决的问题现有的图像与视频生成模型在质量、一致性和计算效率...视频生成训练AIOpenAI全新智能体评估报告：Operator在软件测试中表现如何？
原创 社区头条OpenAI发布全新AI智能体Operator，本文带你一探如何用它简化软件测试、减少工作量并提高准确性。测试是项既关键、又相当繁杂的过程。保障每项功能、每个流程和每种极端情况都能按预期运作往往要占用大量时间和人力。而手动测试虽然更全面，但却极易出现人为错误并影响效率。OpenAI最近发布一款先进AI智能体，有望为传统软件测试方法带来新的可能性。Operator是什么？Openrator是一款由AI驱动的智能体，旨在以拟人方式与数字系统...OpenAIOperatorAI智能体DeepSeek爆火！我们整理了80余页宝典，带你从入门到精通！文末免费领取
原创 社区头条
热门内容榜 • 最近上榜新年伊始，DeepSeek的爆火席卷了全球。更为难得地是，这款十分优秀的模型变得人人可以免费拥有。在生成式AI大行其道的今天，DeepSeek正在凭借其开源、高效、多场景适应等优势，成为开发者、行业从业者以及个人用户的必备利器。为了帮助大家更好地了解和掌握DeepSeek，51CTO智能研究院、51CTO传媒、51CTO学堂联合倾力打造了这份《DeepSeek入门宝典》，这份DeepSeek宝典共分为四册：《技术解析篇》、《开发实战篇》、《个人使用篇...DeepSeek技术AI4090单卡跑满血版DeepSeek-R1，清华团队开源项目再破大模型推理门槛
DeepSeekR1火遍海内外，但推理服务器频频宕机，专享版按GPU小时计费的天价成本更让中小团队望而却步。而市面上所谓“本地部署”方案，多为参数量缩水90%的蒸馏版，背后原因是671B参数的MoE架构对显存要求极高——即便用8卡A100也难以负荷。因此，想在本地小规模硬件上跑真正的DeepSeekR1，被认为基本不可能。但就在近期，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目公布更新：支持24G显存在本地运行DeepSee...单卡DeepSeek大模型DeepSeek被曝估值1500亿达OpenAI一半？巴黎地铁70岁老人都在聊！
精华DeepSeek的估值，被曝已达1500亿美元，达到了OpenAI的一半？最近，Bloomberg的这个数据，引起了轩然大波。图片所有人都在问：真的假的？图片此前，外媒福布斯也曾给出一个估值，当时的数字是10亿美元。图片短短几天，估值却已经涨到了150倍？外媒曝光，DeepSeek估值或高达1500亿Bloomberg是这么说的。根据七位初创公司创始人和AI专家的说法，DeepSeek的市值大约在10亿美元到超过1500亿美元不等。根据彭博亿万富翁指数（Bloomber...DeepSeekAI模式8卡32B模型超越o1预览版、DeepSeek V3，普林斯顿、北大提出层次化RL推理新范式
一、引言推理大语言模型（LLM），如OpenAI的o1系列、Google的Gemini、DeepSeek和QwenQwQ等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（ReinforcementLearning）和推理规模（Inferencescaling）。主流的大模型强化学习算法，如DPO、PPO、GRPO等，通常需要在完整的思维链上进行微调，需要高质量数据、精确的奖励函数、快速反馈和在线迭代、以及大量的...模型o1预览版DeepSeek V3DeepSeek并非完美，训练过程存在“深度诅咒”
精华 社区头条 热门内容榜 • 最近上榜高性能大模型在训练的过程中通常需要数千个GPU，耗费数月甚至更长时间才能完成一次训练。这种巨大的资源投入使得模型的每一层都必须高效训练，才能确保算力资源最大化利用。但大连理工、西湖大学、牛津大学等研究人员对DeepSeek、Qwen、Llama和Mistral研究发现，这些模型的深层在训练过程中表现并不好，甚至可以被完全剪枝而不会影响模型性能。例如，研究人员对DeepSeek7B模型进行了逐层剪枝，以评估每一层对模型整体性能的贡献...DeepSeek模型LayerNormEVEv2.0，视觉语言分开编码，多模态视觉语言理解；视觉信息引导与标记逻辑增强减少大语言模型幻觉
研究背景与意义在当前的人工智能研究领域，视觉语言模型（VLMs）正迅速发展，特别是在大型语言模型（LLMs）和视觉模型（LVMs）取得显著进展的背景下。本文提出的EVEv2.0模型，旨在解决现有编码器驱动的VLMs在多模态理解和推理中的局限性。研究表明，现有的编码器驱动方法在灵活性和适用性上存在一定挑战，尤其是在处理复杂的视觉信息时。因此，EVEv2.0通过引入无编码器的设计，试图减少视觉和语言之间的干扰，从而提升模型的整...视觉语言编码LVMs基于文本的可解释AI局部代理模型稳定性估计分析
论文概述本文针对可解释人工智能(XAI)中的一个关键问题展开研究局部代理模型在文本领域中的稳定性估计。研究重点关注了相似度度量方法对XAI稳定性评估的影响,并提出了一种基于同义词权重的新型评估框架。研究背景可解释AI的重要性随着AIML技术的快速发展,模型的复杂度不断提高,其内部工作机制越来越难以理解。这种"黑盒"特性在医疗、金融等高风险领域尤其令人担忧。例如:医疗诊断系统的错误判断可能导致严重后果金融模型的决策...AI局部代理模型机器学习 | 从0开发大模型之DeepSeek的GRPO
最近，DeepSeekR1的发布为国产大模型争光了（太强了），不过GRPO算法源自DeepSeekMath7B模型，该模型在MATH基准测试中取得了优异成绩，论文发表于2024年2月份：https:huggingface.copapers2402.03300，以下是该论文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...机器学习DeepSeekGRPO从国内外十个智能体案例，看AI Agent在教育领域的应用
社区头条 热门内容榜 • 最近上榜经历了一年多的发展，AIAgent正在越来越多地参与到教育工作之中。TobyHudson构建了一个Agent用于支持他的化学基础单元的学生。这个Agent以教育公平为目标，有助于缩小专业学生与以前没有学习过化学的学生的学习差距。这个Agent还能帮助学生广泛理解基本概念，指示学生提问以检查他们的理解情况，并估计他们的知识水平。JoanneHinitt正在构建一个AIAgent，以帮助她的学生学习如何构建措辞合理的职业治疗目标，这些目标对临床环境...智能体AIAgent深度剖析25种RAG变体：全网最全~没有之一
主流RAG框架可以分为以下五个主要的进化方向：成本控制型（适合初创公司）、实时互动型（适用于财经新闻场景）、域专家类型、认知增强型、安全与合规类型。接下来，让我们详细了解一下这25种RAG变体。一、标准RAG一个基本的RAG系统由检索模块和生成模块组成。系统会对查询进行编码，检索相关的文档块，然后为基于transformer的LLM构建丰富的提示。查询编码器：使用预训练的转换器（例如DPR）生成密集的查询嵌入。代码实现如下：...RAG变体NERFire-Flyer（火烈鸟） AI-HPC：面向深度学习的软硬件协同设计，打造高性价比计算平台
精华1.深度学习的算力饥渴与HPC的成本困境深度学习的浪潮，正以势不可挡的姿态席卷而来。从图像识别领域的AlexNet和ResNet，到自然语言处理领域的Transformer，再到如今参数规模动辄千亿、万亿的大型语言模型(LLM)，如GPT3和PaLM，以及混合专家模型(MoE)和多模态模型，深度学习模型的能力在不断突破，但其背后对计算资源的需求也呈现出爆炸式的增长。高性能计算(HPC)集群，作为支撑深度学习训练的基石，其重要性日益凸显。然而，传...AI-HPC深度学习CUDA7G显存，训练自己的 DeepSeek-R1：GRPO 资源下降80%
DeepSeekR1模型的出现引起了广泛关注，众多开源复现项目纷纷涌现（OpenR1、simpleRLreason、TinyZero、MiniR1等）。然而，受GPU条件的限制，有些小伙伴可能无法顺利运行这些项目。今天，我们就来介绍一个神奇的工具——UnslothAI，它可以帮助我们在有限的资源下训练自己的DeepSeekR1推理模型，特别是通过GRPO（GroupRelativePolicyOptimization）技术，实现了资源的大幅降低。1.UnslothAI的神奇之处1.1GRPO技术简介GRPO是一种强...DeepSeekGRPO技术MedRAG：利用知识图谱引导推理提升医疗Copilot的RAG能力 - 新加坡南洋理工等
摘要检索增强生成（RAG）是一种适用于检索敏感电子健康记录（EHR）的合适技术。它可以作为医疗副驾驶员Copilot的关键模块，帮助减少医疗从业者和患者的误诊。然而，现有基于启发式的医疗领域RAG模型的诊断准确性和特异性不足，特别是对于症状相似的疾病。本文提出MedRAG，一种通过知识图谱（KG）引导推理提升的医疗领域RAG模型，根据症状检索诊断和治疗建议。MedRAG系统地构建了一个全面的四层分级诊断知识图谱，涵盖各种疾病的...MedRAGCopilotRAG突发：苹果AI与阿里牵手成功！曝本地AI功能已提交网信部审批！曾考虑采用DeepSeek
原创 社区头条编辑伊风终于定了？几经波折，苹果AI在中国的落地终于有了眉目！阿里最终与苹果牵手成功，合作开发国行的AppleIntelligence。图片外媒《TheInformation》爆了这个猛料。从知情人士透露的消息来看：这次阿里应该真的稳了，进展十分乐观。据说，苹果与阿里共同开发的国行AI功能已经提交给国内相关部门审核了。合作的消息流出后，两家的股价均有上涨，苹果股价在早盘交易中上涨1.5%，而阿里的股票则上涨2.6%。1.市场份额持续走低，...AIDeepSeek阿里颠覆传统搜索方式！向量相似性与图数据库的强强联合
原创 精华 社区头条01、概述在传统的数据库搜索中，我们更像是在翻阅一份电话簿——你可以查找“拥有红色头发的人”或“谁的车是蓝色的”。但问题是，这种方式虽然高效，却非常局限。如今，向量相似性搜索（VectorSimilaritySearch）改变了游戏规则，它不再仅仅依赖关键词，而是让我们可以问：“哪些东西与这个最相似？”——它能够挖掘语义上的相似性，找到那些隐藏的联系。但仅仅找到相似的事物还不够。现实世界的复杂性不仅仅是单个数据点的问...人工智能AI图数据库9B参数吊打GPT-4V！NVIDIA开源新模型（Eagle 2），竟靠“透明数据”逆袭？
原创01、概述近年来，视觉语言模型（VLMs）在人工智能领域的迅猛发展，极大拓展了机器处理多模态信息的能力。然而，在这项技术的进步背后，依然存在着一些亟待解决的挑战。像GPT4V和Gemini1.5Pro这样的专有模型虽然表现出色，但它们的透明度较低，这限制了它们的适应性和开放性。而开放源代码的替代模型常常因数据多样性、训练方法和计算资源的限制，难以与这些专有模型抗衡。此外，关于后期训练数据策略的文献资料相对匮乏，使得这...大语言模型大模型多模态
