AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
大模型到底需要消耗多少GPU显存？公式和工具全都有
如何计算大模型到底需要多少显存，是常常被问起的问题。现从实用角度再介绍一个简单公式和一个工具方便大家工作中使用。1）估算公式（该公式来自于SamStoelinga简化[1]）符号描述M用千兆字节(GB)表示的GPU内存P模型中的参数数量。例如，一个7B模型有7亿参数。4B4字节，即每个参数使用的字节数324字节中有32位Q加载模型时应使用的位数，例如16位、8位或4位。1.2表示在GPU内存中加载额外内容的20%开销。注意：该公式只是为了简化...GPU显存大模型o1就是GPT-5!前OpenAI首席研究员大爆猛料，揭露罕见内部视角！
原创
社区头条编辑伊风OpenAI第10天的更新还有人追吗？今天这个脑洞大开的上新，把期待GPT4.5的通义大佬直接看懵了——咋是Phonecall呢？图片没错，今天上线的就是这个：ChatGPT的热线电话。美国用户拨打1800ChatGPT（18002428478），即可随时随地和AI热聊……图片网友又开始建议OpenAI：没活了就去咬个打火机。还是说回下一代模型，GPT4过去一年半了，OpenAI一直遛观众就是不发新成果。昨天，OpenAI前首席研究官BobMcGrew的播客首秀上线，直...o1GPT-5OpenAI再谈大模型长文本分块，以及分块在RAG中的作用？
原创“向量数据库的检索原理，就是存储不同数据之间的向量关系，在检索时通过向量关系查询相关数据”文本分块也就是chunk技术是大模型领域中非常重要的一项技术，原因就在于大模型众所周知的问题，上下文窗口限制；虽然说现在大模型的窗口经过几次扩容之后已经达到了一个非常可观的长度，但依然还存在很多问题。比如说，长文本导致的模型幻觉问题；中间丢失现象等多种性能问题；而且，在RAG技术中，长文本也是一个亟待解决的问题。...大模型RAGSora来了！文字秒变视频，附技术细节
🎉期待已久的重磅产品终于来了！OpenAI的Sora正式开放，带着革命性的AI视频生成技术，突破性地从文本生成高质量视频。无论你是ChatGPTPlus还是Pro会员，现在都能在Sora官网（sora.com）体验这项神奇的技术，直接把脑海中的创意变成生动的视频！🚀Sora的黑科技亮点1.文本变视频，极致创意呈现无需专业设备，Sora让你通过简单的文字描述生成1080p、最多20秒的视频，支持横屏、竖屏、正方形等多种尺寸，让视频内容呈现更加灵活！2....Sora文字视频纳德拉微软10年CEO专访流出：OpenAI已经是美国第八大巨头；Agent世界，广告或消失o1做得还不够
原创 社区头条出品51CTO技术栈（微信号：blog51cto）日前，科技巨头微软CEO萨蒂亚·纳德拉的一场播客访谈内容对外界公开了。此次访谈中，纳德拉接受了BG2两位主持人布拉德和比尔的采访。今年是纳德拉加入微软的第32个年头。作为CEO，正值纳德拉执掌微软大权10周年之际，成功将微软带上市值大涨近10倍，猛增超过3万亿美元。因此，某种程度上说，这次的分享可以看成纳德拉对于微软10年历程的管理、当下生成式AI进程是否遇挫、如何看待OpenAI与...微软OpenAIo1ChatGPT高手都在用的4个对话公式，让人工智能更懂你
精华在与AI对话时，掌握正确的提示词策略至关重要。今天，让我们深入探讨四种典型场景，以及每种场景下的最佳提示词使用方法。第一种：双方都知道这是最简单的交互场景。当你和AI讨论的话题是双方都熟悉的领域时，保持提示词的简洁直接即可。📝提示词原则：•使用简短、直接的描述•无需过多背景解释•直接说明你的需求示例：❌不推荐："能否请你帮我详细解释一下地球是圆的这个基本天文学知识，包括相关的科学证据和历史发现..."✅...ChatGPT人工智能AI手把手教你如何用扣子（COZE）打造一个企业级的知识库机器人
社区头条什么是AI大模型（LLM）？大型语言模型（如GPT4或BERT）是基于深度学习的模型，它们通过分析大量文本数据学习语言的统计规律，从而能够完成翻译、摘要、对话等多种语言任务。这些模型通常没有特定的目标或任务，而是根据输入的文本生成相关的输出。什么是AIAgent？AIAgent是指可以自主执行任务或目标的系统，它可以是软件，也可以是智能机器。这些系统通过感知环境并在此基础上做出决策。AIAgent集成了多种技术，包括AI大模型（L...机器人AICOZEOpenAI Sora震撼登场：20秒打造专业级视频，开启创意新纪元！
Sora模型的推出，意味着人工智能技术在视频制作领域迈出了一大步。它不仅能够理解文本指令，生成高质量的视频内容，还能够进行视频编辑和风格转换，极大地简化了视频创作过程。这对于创意产业来说是一个革命性的工具，因为它降低了视频制作的技术门槛，让更多人能够参与到视频创作中来。同时，Sora的发展也是人工智能向更高层次——人工通用智能（AGI）迈进的一个标志。OpenAI直播第三弹，Sora终于现身了！才一上线，网页就已经...OpenAI视频Sora10.1k高星 GitHub 库：告别JSON错误：Outlines如何提升大模型的结构化输出
社区头条在人工智能和大语言模型（LLM）的应用中，如何高效、可靠地从模型输出中提取结构化数据，成为了一个至关重要的课题。本篇文章将介绍GitHub高星开源库Outlines，并分析它如何帮助开发者解决大模型在生成结构化数据时面临的挑战。我们将探讨大模型的非结构化输出给AI应用带来的问题、结构化输出的好处，以及Outlines如何有效地提升模型的可靠性和性能。在这里插入图片描述1.大模型的非结构化输出带来的问题1.1问题大语言模型（LLM...JSON大模型结构化深度学习的Batchsize必须是2的n次方吗？
大家或多或少都已经默认了，batchsize一般都是2，8，36，64，128...因为基本上所有论文都是这么设置默认超参数，大家久而久之就习惯了，至少这样设置总不会错吧。其实我也有这么一个迷思，如果不设置为2的n次方会怎么样？效果变差？效率变低？还是...基本理论一般而言，选择batchsize为2的幂背后的主要思想来自于：内存对齐和浮点效率。内存对齐将batchsize选择为2的幂的主要论点之一是CPU和GPU内存架构是以2的幂组织的。有一个...Batchsize参数验证OpenAI CPO 谈做AI产品的几个理念，深受启发！
精华前言在微博看到有i陆三金大佬发了OpenAI、Anthropic两家公司的首席产品官的同台访谈，看俩人讨论如何在生成式AI的不确定性下做产品。提取了一下要点，有兴趣可以去看原视频：在模型被训练出来之前，每个人都不知道模型会怎么样，会涌现哪些能力，研究团队也不知道，它的性能是60%、90%还是99%，而基于每一种情况去构建产品又很不一样。OpenAICPO：很多事情在60%的情况下已经可以做，只是你要针对性的做产品。AnthropicCPO：与客...AI产品OpenAI英伟达NVLM多模态大模型细节和数据集
原创前期笔者介绍了OCRfree的多模态大模型，可以参考：【多模态&文档智能】OCRfree感知多模态大模型技术链路及训练数据细节，其更偏向于训练模型对于密集文本的感知能力。本文看一看英伟达出品的多模态大模型NVLM1.0系列，虽然暂未开源，但该文章给出了NVLM的详细细节，值得一读。NVLM1.0方法NVLM1.0包括三种不同的架构：NVLMD，一种解码器架构；NVLMX，一种基于交叉注意力（Xattention）的架构；NVLMH，一种混合架构。共享...多模态LLM推进医疗人工智能：评估 OpenAI 的 o1-Preview 模型并优化推理策略
原创 社区头条01、概述近年来，人工智能在医疗领域的应用迎来了新的突破。传统上，高性能的专业领域模型需要大量的领域特定预训练，例如PubMedBERT和BioGPT。然而，随着GPT4等通用大模型的崛起，这一模式正在被打破。尤其是像Medprompt这样的运行时引导策略（runtimesteering），在无需重新训练模型的情况下，就能让通用模型在特定领域内达到媲美甚至超越专业模型的表现。本文将带你深入了解Medprompt及其背后的运行机制，同时揭示OpenAI最新...医疗人工智能OpenAI大模型Cohere AI 推出 Rerank 3.5：搜索技术的新时代
原创01、概述在信息爆炸的时代，企业对搜索技术的依赖已不仅仅是为了找到内容，而是为了提升效率和生产力。然而，传统搜索模型往往难以真正理解用户意图，导致搜索结果不准确、不相关甚至不完整。这种体验不仅让用户倍感挫败，还可能拖累企业的运转效率，甚至影响收入增长。在这样的背景下，CohereAI推出了全新的Rerank3.5。这一搜索基础模型重新定义了搜索系统如何理解和排序结果，弥补了当前模型的关键缺陷。它通过对用户查询进行...人工智能大预言模型机械鹦鹉与真正的智能：大语言模型推理能力的迷思
原创 精华编者按：大语言模型真的具备推理能力吗？我们是否误解了"智能"的本质，将模式匹配误认为是真正的推理？本文深入探讨了大语言模型（LLMs）是否真正具备推理能力这一前沿科学问题，作者的核心观点是：LLMs本质上是高级的模式识别机器，而非真正具备逻辑推理能力。首先，作者指出，尽管大语言模型在各类推理能力基准测试中表现出色，但其性能实际上高度依赖于训练数据中的模式识别，而非真正的逻辑推理。其次，文章质疑了目前广泛...AILLMs大模型Hugging Face 发布免费开放课程，微调本地LLMs模型
原创01、概述如今，人工智能（AI）技术正在迅速发展，但与之相伴的教育资源却并不平等。想要踏入这一领域，通常需要深厚的专业背景和昂贵的资源支持。然而，HuggingFace正在改变这一现状。近日，该公司推出了一门免费且开放的机器学习课程，旨在让每个人都能接触到这一尖端技术。这门课程名为SmolCourse（取“小”之意），将引导学员从零开始，逐步掌握机器学习模型的构建、训练与微调。02、Smolcourse课程亮点揭秘SmolCourse以Hugg...微调LLMs大模型之深入探索RAG流程
原创前言在上一章【大模型之初识RAG】中，我们初步了解了RAG的基本概念和原理，并通过代码实践了一个简单的RAG流程。本章我们将基于RAG的基本流程，深入了解文档读取(LOAD)、文档切分(SPLIT)、向量化(EMBED)和存储(STORE)的每个环节，并结合代码进行常见场景的实践。RAG流程回顾回顾RAG的流程如上所示，具体代码见RAG代码，本章不再赘述。文档读取(LOAD)简介：由于我们的知识广泛存在各类文...大模型RAG大模型之初识RAG
原创 社区头条前言通过前几章的学习，我们已经掌握连接一个第三方大模型，使用LangChain与大模型建立交互，并且通过Prompt进行提问，得到相应的回答。本章我们将开始了解RAG（检索增强生成）技术，了解RAG的技术原理以及基本使用方法。RAG概述产生背景随着信息量的急剧增加，单纯依靠模型内置的知识进行生成已无法满足需求，比如：大模型的公共知识都是陈旧的！部分私有的知识大模型没有学习过.....RAG（检索增强生成）技术的出现是...大模型RAG大模型之Agent的初步了解
原创前言电影《钢铁侠》中的智能助手J.A.R.V.I.S.是一位得力的助手，它不但有强大的理解能力，而且还具备执行行动的能力。随着技术的不断进步，类似于贾维斯的Agent正在逐步从银幕走进现实。本文将探讨Agent的产生背景，并结合一些代码示例理解Agent。Agent的产生背景一个例子引入Qwen大模型fromutilsimportgetqwenmodelsllm,chat,getqwenmodels()chat.invoke("现在几点了？")运行结果：AIMessage(content'我是一个AI模型，无法实时...大模型Agent大规模情感分析：将NLP应用于多语言和特定领域的文本
原创 社区头条探讨大规模情感分析对于分析多语言和特定领域大量文本数据的重要性。情感分析，也称为意见挖掘，是自然语言处理（NLP）技术中的一个强大概念，用于解释和分类文本数据中表达的情感。当然，它可以确定情绪是积极的、消极的还是中性的。有了这样的结果，每个企业和研究人员都能理解顾客的意见、市场趋势和社会态度。通过分析从社交媒体、评论和调查等来源收集的数据，情感分析可以提供强大的、可操作的见解，推动决策，提高客户满...自然语言处理NLP深度学习
