AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
被神化的o1模型，规划能力到底如何？
最近OpenAI推出了新的o1模型，与之前类似检索器的大语言模型（LLM）不同，o1被称为推理器模型。o1模型可能是类似于AlphaGo的强化学习训练系统，只不过所生成和评估的“动作”是思维链。依据OpenAI发布该模型的博客：o1模型与过去的大语言模型有所区别，是一个新系列的大型推理模型，代表了人工智能能力的新水平。所以，OpenAI将模型的计数器重置为1，命名为OpenAIo1模型。在o1preview和o1mini发布了一周后，作者在PlanBench测试...o1模型LRMs系统扎克伯格最新采访！AI和AR的融合，是否将取代手机？充满AI的APP会颠覆人类的社交方式吗？
原创出品51CTO技术栈（微信号：blog51cto）MetaConnect2024“Orion”真·AR眼镜猛吸了一波关注。在此之前，Meta的AR眼镜都尚未搭载显示功能。在大会之前，《TheVerge》副主编亚历克斯・希思对扎克伯格进行了采访。围绕Connect上繁多的看点进行了富有深度的讨论：注入了AI能力的AR眼镜是否会取代手机，成为用户的主要屏幕设备？坐拥Facebook、Instagram、WhatsApp等社交巨头的扎克伯格，又是如何看待未来充满AI的媒介的，我们的社交...扎克伯格AIAR让具身智能更快更强！华东师大&上大提出TinyVLA：高效视觉-语言-动作模型，遥遥领先
论文链接：https:arxiv.orgpdf2409.12514项目链接：https:tinyvla.github.io具身智能近期发展迅速，拥有了大模型"大脑"的机械臂在动作上更加高效和精确，但现有的一个难点是：模型受到算力和数据的制约。如何使用更少的训练数据，以更快的推理速度，实现媲美OpenVLA的性能？今天给大家分享的TinyVLA，就是来解决这个难题的，还有多种规模的模型可供选择！总结速览解决的问题：现有的视觉语言动作（VLA）模型在推理速度慢和需要...模型算力GPU和CPU如何混合训练？大模型训练的GPU联手CPU显存优化分析方法
精华随着深度学习模型复杂度和数据集规模的增大，计算效率成为了不可忽视的问题。GPU凭借强大的并行计算能力，成为深度学习加速的标配。然而，由于服务器的显存非常有限，随着训练样本越来越大，显存连一个样本都容不下的现象频频发生。除了升级硬件（烧钱）、使用分布式训练（费力），你知道还有哪些方法吗？即使显存充足，所有运算都在GPU上执行就是最高效吗？只要掌握以下小知识，模型训练的种种问题统统搞定，省时省力省钱，重...模型训练Sample Packing 综述：LLM 效果与效率的 Tradeoff
本文中我们通过几篇论文来具体介绍SamplePacking相关的方案和对应的各种问题，比如GraphCore的PackedBert、Meta的InContextPretraining、智谱AI的LongAlign、Amazon的FewerTruncations以及IBM的PackingwithFlashAttention。一、背景上一篇文章（SamplePacking：长序列LLM训练的Attention问题及优化）中我们简单介绍了SamplePacking相关的问题和部分简单实验。本文中我们通过几篇论文来具体介绍SamplePacking相关的方...LLMTradeoff效果Llama 3.2：AI视觉革新，手机也能跑大模型
Meta最新发布的Llama3.2不仅能"看"，还能在你的手机上运行。这次更新带来了多模态支持的LlamaVision和专为设备端优化的"tiny"模型，共推出10个新模型，规模从1B纯文本到90B多模态（文本+图像）不等。Llama3.2的核心亮点：1.Llama3.2Vision：推出11B和90B两种规模的多模态模型，支持文本+图像输入并生成文本输出。这些模型基于Llama3.1文本模型，通过6B图像文本对训练而成。2.Llama3.2Edge：专为高效本地部署设计的1B和3B多语言...Llama 3.2AI视觉手机阿里再卷AI大模型价格战，降价背后的商业化之路
近日，阿里云宣布其三款通义千问主力模型大幅降价，最高降幅达85%。这一举动并非孤例，实际上是AI大模型领域新一轮降价潮的缩影。从国内的BAT、科大讯飞、字节跳动，到国际上的Anthropic、Character.AI，甚至OpenAI，各大AI巨头纷纷加入这场价格战，意图通过降价来吸引更多用户，开启大模型的"厘时代"。这场看似激烈的价格战背后，其实暗藏玄机。得益于技术的不断突破和规模化应用，AI大模型的成本正在快速下降。启明创投的周志...阿里AI大模型3D语言模型的新突破：解锁虚拟现实中的'幻觉'问题
精华随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...3D语言模型大模型微调哪家好？小孩子才做选择，成年人当然是全都要
一、概述title：UNIPELT:AUnifiedFrameworkforParameterEfficientLanguageModelTuning论文地址：https:arxiv.orgabs2110.07577代码：https:github.commorningmoniUniPELT1.1Motivation大模型不同的微调方法（PELT）例如LoRA，prefixtuning，Adapter方法效果不同，在不同的任务上效果也有差异，到底选哪个方法好呢？parameterefficientlanguagemodeltuning(PELT)方法能在参数量比finetuning小很多的情况下，perform追上finetunin...大模型LoRAGp参数AI生态中的云原生组件
1.核心云原生组件容器化技术是云原生的核心，它通过将应用及其依赖项打包到一个轻量级、独立的容器中，确保了应用在不同环境中的一致运行。作为两种主流的容器引擎，Docker和containerd广泛应用于AI模型的开发和部署。Docker提供了简便的容器化工具链，而containerd则作为一个高效、专注的容器运行时，为Kubernetes等平台提供底层支持。容器化AI模型可以在本地开发环境与云端无缝切换，减少环境差异带来的问题。AI应用通常由多...AI云原生组件【活动结果公布】AIGC创新先锋者征文大赛悬赏召集
🎉🎉敲黑板！社区首个征文大赛华丽丽开始啦📣📣现在报名参加「AIGC创新先锋者征文大赛」创作内容，发帖成功即可获得阳光普照奖，此外更有机会获得键鼠套装、定制周边等多重好礼！还等什么，赶紧来参加！！！🌟🌟⏰活动时间：9月26日11月30日🌟参与活动可获得如下好礼：🎁好礼一：活动期间，只要发布1篇合格的带话题文章，即可获得阳光普照奖：成为AI.x社区AIGC开发者体验官，免费获得AIGC学习资料、线下技术沙龙席位、求职岗位...AIGC创新先锋者征文两款中国AI产品的“领跑”秘籍！
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）大模型进入大众视野近两年，众多AI原生产品纷纷登场。然而，对于犹抱琵琶的SuperApp迟迟未至，业内似乎达成了某种默契的说法：PMF尚未找到。那么，真相究竟是怎样的？于是，我们决定调查一下目前国产AI产品，试图去寻找这个谜题的答案。接下来，在最新的AI产品榜单上，我们幸运地找到了这样一张国内AI超级应用进展地图！这张地图以代表用户规模的月活跃用户数（MAU）作为横轴，把...AI产品大模型小扎深夜炸场！Meta首个开源多模态模型Llama 3.2横空出世，能力不输GPT4o-mini；小扎：开源的拐点来了！
原创起猛了！小扎又又又带着他的开源大模型走来了！MetaConnect上，拥有视觉能力的Llama3.2推出！这是该大模型家族首个开源的多模态模型。图片Llama3.2包括小型和中型模型（参数为11B亿和90B亿），以及更轻量化的仅文本模型（参数为1B和3B），扎克伯格称其为“能运行在设备上的最佳模型”，并透露未来将在眼镜设备上使用。与其前身一样，Llama3.2的1B和3B模型支持128K的上下文长度，在端侧模型中可谓遥遥领先。根据Meta透露，这些模...MetaLlama 3.2GPT4o-miniECCV`24 | 高保真目标修复新SOTA！复旦&智象开源CAT-Diffusion，语义视觉双一致
文章链接：https:arxiv.orgpdf2409.08260Github链接：https:github.comNnnsCATdiffusion总结速览解决的问题:单一UNet在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。扩散模型的复杂采样空间中无法保证对对象生成的可控性。提出的方案:语义预修复：在多模态特征空间中推理目标对象的语义特征。高保真度的对象生成：在扩散的潜在空间中基于已修复的语义特征生成目标对象。应用的技术:采用级联的Transformer语义修...生成模型AI小红书开源StoryMaker：个性化图像生成模型，实现角色一致性与背景变化的完美结合
精华文章链接：https:arxiv.orgpdf2409.12576Github链接：https:github.comRedAIGCStoryMaker模型链接：https:huggingface.coREDAIGCStoryMaker亮点直击解决了生成具有一致面部、服装、发型和身体的图像的任务，同时允许背景、姿势和风格的变化，通过文本提示实现叙事创作。提出了StoryMaker，首先从参考图像中提取信息，并使用PositionalawarePerceiverResampler进行细化。为了防止不同角色与背景互相交织，使用带有分割mask的均方...AI图像生成大模型微调：Hugging Face Transformers全流程实战
原创随着大模型在人工智能领域的兴起，如何将其应用于垂直领域成为关键问题。本文描述了模型微调技术，通过调整预训练模型的参数，使其适应特定任务，从而提升模型在特定领域的表现。文中以Yelp数据集为例，详细介绍了如何使用HuggingFaceTransformers框架对BERT模型进行微调，实现评论星级分类任务。文档涵盖了微调的背景、主流手段、架构和工具，并深入讲解了微调的思路和实践步骤，包括数据预处理、模型选择、超参数设置、训练评...大模型人工智能AI模型对 AI 产品定价模式的新思考：基于人数 or 工作量？
原创 精华编者按：传统的基于用户数量的定价模式是否还适用于AI产品？我们今天为大家带来的这篇文章中，作者提出：AI产品应该采用基于工作量的定价模式，而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在AI产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使用AI工具，而另一些人可能几乎不碰。这不仅会增加企业的不必要开支，还可能阻碍AI工具在整个组织中的广泛应用和创新。作者分享了他们在AI产...LLMsAI定价模式字节憋大招，中国版Sora该有的样子！
原创编辑言征出品51CTO技术栈（微信号：blog51cto）字节终于又跳动了一把！昨天，字节豆包大模型冷不防就公开了一个新品大招！9月24日，深圳。字节对于大模型领域的雄心壮志再度升级，不等OpenAI的Sora发布，视频生成领域，字节要当No.1。字节就是这样，总在看似寻常的更新会议上，放出惊艳的大招！划重点：不负大家对于字节的期待，全新的豆包视频生成模型实在威力惊人，活动现场非常火爆！图片巡展开始，火山引擎总裁谭待宣布了豆...字节中国版SoraTransformer结构优势 ,How Much Attention Do You Need?
前言本期基于凯斯西储大学（CWRU）轴承数据，进行Transformer的结构优势进行讲解，结合论文《HowMuchAttentionDoYouNeed》，探索不同模块对故障分类任务的影响力。1《HowMuchAttentionDoYouNeed》1.1论文解析论文提到三个观点：（1）Sourceattentiononlowerencoderlayersbringsnoadditionalbenefit(x4.2).解释：SourceAttention：通常指的是在编码器（encoder）中，模型关注输入序列的不同部分的机制。在Transformer中，编码器...Transformer机制解码器微软：RAG并不是你唯一的解决方案！
将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，得到广泛应用，但在不同专业领域有效部署数据增强LLMs面临着重大挑战：从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来处理复杂任务对于数据增强LLM应用来说，没有一种放之四海而皆准的解决方案。应用落地性能不佳往往是由于未能正确识别任务的核心焦点，或者任务本身就需要多种能力结合，必须被分离出来以获得更好解决方案。数据增强LLM应用中不同查...微软RAG微调
