AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
利用多Lora节省大模型部署成本
精华如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。一、背景近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。本文将介绍我们如何利用多Lora技术，将多个场景合并部署，从而有效解决这一问题。同时...Lora模型部署AI给《黑神话：悟空》生成了一个宣传片…看完我沉默了
精华足足等了四年，《黑神话：悟空》，终于来了！但我们上班的“吗喽”玩不着，于是灵光一闪，不妨用AI的方式来解猴瘾——用AI给《黑神话：悟空》生成一个宣传片。说干就干。我们以官方的最新宣传片做模板，小伙伴们可以先欣赏一波：《黑神话：悟空》最终预告我们的操作方式是这样的——截取最新宣传片中的多个关键帧，然后用智谱AI的清影（免费、无限次）生成视频片段，最终将它们拼接到一起。操作上并没有什么难度，等待时长也是...AI生成Transformer，会笑到最后吗？
原创出品51CTO技术栈（微信号：blog51cto）Transformer架构为当今最流行的公共和私有AI模型提供支持。那么我们想知道——接下来是什么？这种架构是否会带来更好的推理？Transformer之后会是什么？一、Transformer的问题及其挑战者们Transformer架构的自注意力机制允许模型同时衡量每个输入token对输入序列中所有token的重要性。通过捕获长距离依赖关系和复杂的token关系，这有助于提高模型对语言和计算机视觉的理解。然而，这意味着...TransformerAIGenAILLaMA 3 背后的大规模 GPU 集群 RoCE 网络建设
精华一、背景模型越来越大，需要的GPU越来越多；与此同时GPU性能也在不断增强，配套的网络带宽也不断增加到400G（BlackwellGPU甚至需要到800Gbps）。Ranking模型还在迁移到GPU的早期阶段，但使用GPU的规模也在不断增加；而LLM通常需要使用更大规模GPU。在构建这种规模的网络的同时保持高性能GPU间通信很有挑战。Meta在其LLaMA3技术报告中简单提到用于训练LLaMA3的大规模GPU集群，不过在报告中并没有详细介绍其集群的构成以及相应的...LLaMA 3GPU集群AgentWrite：为什么你的模型生成的内容长度总是不超过2K?
精华1.为什么要研究LongWriter随着大语言模型的发展，越来越多的大语言模型都具备了长上下文能力，甚至有的达到了100万token。但是，相较于大家关注的海量输入，大模型的生成长篇幅的内容时就显得力不从心了。图片比如，如上图，作者在各种模型上要求生成超过2000字的内容时，基本上都没有成功。随着提示词中要求输出的内容长度的增加，输出的最终长度始终停留在2K左右。但是，在对WildChat的用户日志分析时发现，有1%的用户明确要...模型内容长度网络大模型 VS 小模型
首先，我们思考一个问题，为什么qwen2基本上是当下最受欢迎的开源模型？说实话，相比于deepseek、llama、minicpm这些诚意满满的技术报告，qwen2的技术报告稍显一些“小家子气”，并没有提及到关键的技术细节。然而，qwen2提供给开源社区的“全家桶”套餐，又是多长的技术报告也比不上的。对llm的研究者来说，用相同tokenizer，相同的7Tpretraindata得到的“一簇小llm”，其研究价值远远超过Qwen272B本身！知乎:https:zhuanlan.z...大模型小模型概率AI架构系列：去其形而留其意
原创最近很多的咨询都在问我相同的问题，如何将LLM集成到垂直领域的业务场景。这里提到的场景当然这些场景不再是生成式应用，而是较为专业的领域。我翻了一篇三月份的论文，以这篇论文来回答读者的问题。其实就是要将LLM去其形，而留其意。LLM的主要战场还是在于自然语言的理解。其一它的特点是大，其二它的内核为Transformer引擎，这种引擎能够在所有的输入中提取有用的关联信息。这些信息可以是自然语言识别，也可以是时序数据，...AI架构生成式高效打造知识图谱，使用LlamaIndex Relik实现实体关联和关系抽取
精华文本信息转化为知识图谱的技术，自问世以来一直是研究界的宠儿。大型语言模型（LLMs）的兴起让这个领域受到更多关注，但LLMs的成本之高令人却步。然而，通过对小型模型微调优化，我们可以找到一种更经济高效的解决方案。今天向大家介绍Relik，这是由罗马大学（SapienzaUniversityofRome）自然语言处理团队精心研发的快速、轻量级信息提取框架。1信息提取流程在不依赖LLMs的情况下，信息提取流程通常包括：上图呈现了信息提取的...图谱LlamaIndexRelikMulti-Meta-RAG：langchain点名，评论爆吹的新研究
嘿，大家好！这里是一个专注于AI智能体的频道！今天来聊聊一篇挺有意思的论文，被langchain官方点名，很多评论推荐的文章！MultiMetaRAG:ImprovingRAGforMultiHopQueriesusingDatabaseFilteringwithLLMExtractedMetadata检索增强生成（RAG）支持从外部知识源检索相关信息，并允许大型语言模型（LLM）回答对以前看不见的文档集合的查询。然而，研究表明，传统的RAG应用程序在回答多跳问题方面表现不佳，这些问题需要检索和推理支...LLM元数据MacBook终于有人将多模态重点内容做成了动画
原创多模态学习可以看作是深度学习的一个细分领域，利用不同类型的神经网络来处理不同模态（如图像、文本、音频等）的数据。多模态任务大体可以分为理解和生成两大类，生成任务又分为文生图和图生文。CLIP是入门多模态的最佳选择，后续多模态模型基本上都延续了它的思想：分别用图像编码器和文本编码器将图像和文本编码到一个共享的特征空间中，然后通过多模态融合方法将配对的图像文本特征向量拉进。[CLIP]手书动画✍️[1]给定↳...多模态LabelU：一个强大且易用的多模态数据标注工具
原创LabelU是一款开源的多模态数据标注工具，它支持图像、视频和音频等多种类型的数据标注，适用于机器学习和人工智能领域的数据预处理。LabelU提供了丰富的标注功能，包括但不限于图像分类、目标检测、语义分割、音频转录和视频标注等任务。它通过灵活多样的标注工具和直观的操作界面，大大提升了数据标注工作的效率和质量。同时支持本地部署所有数据本地化保证了数据安全性。在线demo标注工具：https:opendatalab.github.iola...多模态数据标注LabelU大模型RAG架构落地的十大挑战
原创0、RAG简介RAG（RetrievalAugmentedGeneration）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。RAG流程简要概括为3步，对应其名：1、检索：借助Embedding，将问题转化为向量，比对知识库，选取最相关的TopK知识。2、增强：结合检索出的上下文和问题，构造Prompt。3.生成：将Prompt输入大模型，产出答案。从工程视角划分，RAG实施分为两阶段：阶段一：离线数据预处理：涵盖知识文件导入、文本切分、向量...RAG大模型一个更小、更快、更干净的 GraphRAG！！
原创1、nanoGraphRAG简介nanoGraphRAG：一款简洁且易于定制的GraphRAG实现。😭GraphRAG确实功能强大，但官方的实现版本阅读与修改起来颇为不易。😊本项目为您呈现了一个更为精简、高效、清晰的GraphRAG版本，同时保留了其核心特性。🎁nanoGraphRAG的代码量大约只有800行，除了测试和示例之外。👌短小精悍，易于扩展，支持异步操作，且完全采用类型注解。Github地址：https:github.comgusye1234nanographrag2、nanoGraphRAG部署和使...GraphRAG如何使用聚类分析分割数据
原创本文揭示了聚类分析在分割、分析和洞察相似数据组方面具有的潜力。机器学习不仅仅涉及做预测，还涉及其他无监督过程，其中聚类尤为突出。本文介绍了聚类和聚类分析，着重表明了聚类分析在分割、分析和洞察相似数据组方面具有的潜力。什么是聚类简单来说，聚类就是将相似的数据项分组在一起，这好比在杂货店里将相似的水果蔬菜摆放在一起。不妨进一步阐述这个概念：聚类是一种无监督学习任务，涉及一系列广泛的机器学习方法，假...机器学习聚类分析聚类算法多模态大模型之模态融合的注意点及难点
原创“模态融合是多模态大模型的核心”随着大模型的发展，大模型从单模态发展到现在的多模态，为什么发展多模态大模型在之前的文章中有过描述，这里就不在详细介绍了。今天主要说的是多模态大模型的一个更加具体的东西，多模态融合技术。多模态融合技术的难点及注意点多模态融合是结合不同类型的数据(如图像，文本，音视频等)以提高模型等理解和生成能力的一种技术。然而，这一过程中充满了困难与挑战，以下是多模态融合中常见的难...多模态大模型成本降低90%！Anthropic 推出新 Claude 提示缓存！开发人员将省去一大笔钱
原创编辑星璇出品51CTO技术栈（微信号：blog51cto）Anthropic和OpenAI的竞争日趋白热化，前不久OpenAI发布了更便于开发者定制输出的jsonAPI，没过多久Anthropic也开始发布了一项利好开发者的消息：终于不必重复调用同样地提示了！Anthropic在其API上引入了提示缓存，它可以记住API调用之间的上下文并允许开发人员避免重复提示。简单来讲，新版API可以“记住”一整本书或整个代码库，不需要再重复输入了。这样一来，不仅处理长文本的...Anthropic缓存LLM高能！谷歌前CEO斯坦福大学演讲内容泄露，直指 AI 是强者之间的游戏，“富者更富，穷者唯有尽力而为”
原创整理诺亚出品51CTO技术栈（微信号：blog51cto）前谷歌CEO埃里克·施密特最近访问了斯坦福大学并发表了演讲。最初，施密特误以为这是一场闭门会议，并告诉在场学生们会议内容需要保密。然而，实际上会议正通过网络进行同步直播。这一乌龙导致施密特在输出观点时格外“直言不讳”。尽管斯坦福大学之后迅速从YouTube上移除了直播视频，但在那之前已有大量观众同步观看并且存了副本。值得一提的是，施密特在担任谷歌CEO的十年间（20...谷歌AI创业一篇大模型NL2SQL全栈技术最新综述
随着LLM的出现，NL2SQL的性能得到了极大的提升，这显著降低了访问关系数据库的障碍，并支持各种商业应用。本文提供了一个全面的NL2SQL技术综述，覆盖了整个生命周期，包括模型、数据、评估和错误分析四个方面。全文概述：NL2SQL任务的全生命周期NL2SQL问题与背景对NL2SQL任务进行了定义，并介绍了人类执行NL2SQL任务的工作流程与关键挑战，并描述了基于语言模型发展的NL2SQL解决方案的演变。NL2SQL任务定义问题表述：NL2SQL，也...NL2SQL全栈技术蜘蛛侠妖娆起舞，下一代ControlNet来了！贾佳亚团队推出，即插即用，还能控制视频生成
只用不到10%的训练参数，就能实现ControlNet一样的可控生成！而且SDXL、SD1.5等StableDiffusion家族的常见模型都能适配，还是即插即用。同时还能搭配SVD控制视频生成，动作细节控制得精准到手指。在这些图像和视频的背后，就是港中文贾佳亚团队推出的开源图像视频生成引导工具——ControlNeXt。从这个名字当中就能看出，研发团队给它的定位，就是下一代的ControlNet。像大神何恺明与谢赛宁的经典大作ResNeXt（ResNet的一种扩展...视频生成多智能体大模型协作中的角色不一致性：一致性、虚构性和模仿性
多智能体AI系统近年来在模拟集体决策和增强聊天机器人文化敏感性方面展现出巨大的潜力。这些系统通过模拟多种社会文化身份的AI代理，能够在科学研究和实际应用中提供宝贵的洞察。例如在行为实验中，多智能体系统可以模拟人类群体互动，帮助研究人员理解群体决策的动态。此外，在聊天机器人应用中，加入多样化的群体讨论步骤，可以使机器人的响应更加细腻和文化敏感，提升用户体验。然而，这些应用的成功依赖于AI代理能够可靠地...模型虚构性模仿性
