AI.x社区

本文首先介绍Meta公司开发的开源图像分割模型SAM的架构，然后通过一个河流像素分割遥感任务的实战案例展示SAM模型应用开发涉及的关键技术与模型优势。引言当前，许多强大的开源基础模型的发布，加上微调技术的不断进步，已经带来了机器学习和人工智能的新范式。整体来看，这场革命的核心在于转换器模型（https:arxiv.orgpdf1706.03762）。虽然除了资金充足的公司之外，所有公司都曾经无法获得高精度的特定领域模型；但是如今，...

摘要：语言模型正越来越多地用于广泛任务中的一般问题解决，但在推理过程中，它们仍然局限于逐字级别、从左到右的决策过程。这意味着它们在需要探索、战略性前瞻，或初始决策起关键作用的任务中可能表现不佳。为了解决这些挑战，我们引入了一种新的语言模型推理框架——“思维树”（TreeofThoughts，ToT），它推广了流行的“链式思维”方法，通过提示语言模型并使其能够探索作为解决问题中间步骤的连贯文本单元（“思想”）。To...

摘要:大型多模态模型（LargeMultimodalModels,LMMs）的出现引发了旨在利用其卓越推理能力的研究热潮。然而，在理解富含文本的图像方面，要充分发挥LMMs的潜力仍然存在挑战，现有的方法在有效处理高分辨率图像方面面临困难。为此，我们提出了TextCoT，这是一种针对富含文本图像理解的新颖连锁思维（ChainofThought）框架。TextCoT利用LMMs的图片标注能力来把握图像的整体情境，并利用其定位能力来检查局部文本区域，从而实现全局...

摘要：在现实世界的应用中，如引文网络、社交网络和生物数据等领域，图（graph）在表示和分析复杂关系方面起着至关重要的作用。最近，大型语言模型（LargeLanguageModels,LLMs）在众多领域取得了显著成功，并且也被应用于与图相关的任务中，以超越传统的基于图神经网络（GraphNeuralNetworks,GNNs）的方法，并实现了最先进的性能。本综述首先对现有整合LLMs与图的各类方法进行了全面回顾与分析。首先，我们提出了一种新的分类法...

随着人工智能技术的飞速发展，人机协同工作模式不断演进。本文将深入探讨嵌入（Embedding）、副驾驶（Copilot）和智能体（Agent）三种模式、未来软件架构范式演进，分析它们如何为不同领域的应用塑造AI的未来。一、嵌入（embedding）模式用户通过与AI进行语言交流，使用提示词来设定目标，然后AI协助用户完成这些目标。例如：普通用户向生成式AI输入提示词创作小说、音乐作品、3D内容等。在这种模式下，AI的作用相当于执行命令...

在前面的​​大模型参数的文章​​中讲了什么是大模型的参数，以及大模型为什么要训练；不过那个讲的比较抽象，这里就用一个更形象的例子来解释一下大模型的参数到底是什么，以及训练的原理。01、大模型和厨师从我们使用者的角度来说，大模型就是一个黑盒，它需要输入，然后给出一个输出。如下图就是大模型的黑盒模型：而从我们使用上来看，基本上就是一个聊天框，然后我们输入文字图片视频等，然后大模型给我们一个输出。而这...

“神经网络就是一个具有输入和输出的黑盒”神经网络模型就是模仿人类大脑神经元传递的过程，从使用者的角度来说，神经网络就是一个具有输入和输出的黑盒模型。简化模型如下图：只需要设定特定的输入和输出格式，隐藏层可以根据不同的任务需求进行实现。01、神经网络模型神经网络主要由神经元构成，然后会根据任务复杂度，设计一个到多个网络层，网络层数越多，处理的问题越复杂。如下图所示，就是一个简单的神经网络模型图，具...

编者按：本文旨在带领读者深入了解LLaMA3的核心技术——使用RMSNorm进行预归一化、SwiGLU激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm技术让模型能够识别文本中的重点，SwiGLU激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE赋予了模型处理序列中词语位置的灵活性，而BPE算法则有效提升了模型处理长文本的能力。从开发环境配置到项目逻辑梳理，各组件的介绍与构建，再到模型组件的整合...

作者丨DanRowinski编译丨诺亚在过去的20年，创新为我们造就了众多转折点，于这些转折点处，全新的职业类别得以应运而生。回想一下，2006年亚马逊网络服务推出后，云端架构师与开发者的职位便顺势出现；伴随iPhone和Android的兴起，移动开发者成为了崭新的职业角色；当我们积累了充足的数据和计算能力，足以让神经网络运行时，机器学习工程师这一职业就此产生；而后，上述三种趋势相互交汇融合，数据科学家的职业开始引人注目。...

编辑言征出品51CTO技术栈（微信号：blog51cto）近日，一根“萝卜”在网上激动起了千层浪。乘客、网约车出租车老司机们甚至为此开启了“吐槽”模式。首先本来是一张流传出的网图，画面中显示：武汉投入了1000多辆无人驾驶车，这种车非常便宜，6公里只收4元钱，7×24小时运行，几个月订单就超过了500万单，被有乘客表示：都不需要考驾照了。当然图中无人驾驶车的主角，就是这几天大家热议不断的、百度旗下的萝卜快跑。图片此次热...

随便一张立绘都能生成游戏角色，任意IP快速三维化有新招了！来自清华大学和VAST的研究人员联合推出了CharacterGen——一种三维风格化人物生成框架。具体而言，CharacterGen采用两阶段生成模式，可在1分钟内从单图生成高质量的标准姿态三维人体。目前相关论文已入选计算机图形学顶会SIGGRAPH2024，且在社区引发了热烈讨论。CharacterGen开源后，已有玩家第一时间将其纳入了ComfyUI3D工作流。网友们搓手表示：迫不及待看到构建3D...

《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。研究人员通过把AI的“慢思考”结果蒸馏进“快思考”，让Llama2表现提升了257%，变得比GPT4还能打，同时还能降低推理成本。这里的快慢两种思考方式，指的就是2002年诺贝尔经济学奖得主丹尼尔·卡尼曼推广的系统1和系统2——简单说，系统1是简单无意识的直觉，速度更快；系统2则是复杂有意识的推理，准确性更强。Meta所做的“蒸馏”，就是用系统2生成数据，然后对用...

一、概述title：Let’sVerifyStepbyStep论文地址：https:arxiv.orgabs2305.20050代码：https:github.comopenaiprm800k1.1Motivation近期大模型的出现极大的提升了复杂问题的多步推理能力，例如可以通过逐步思考（CoT）改善推理任务，但是即使最先进的模型也会产生逻辑错误。如何训练一个更好的rewardmodel，来做大模型的alignment对齐研究也是一个具有挑战的问题。结果监督（只提供最终的结果作为监督信号）和过程监督（提供每...

一、编程辅助例子GitHubCopilot[1]基于OpenAI的Codex[2]模型（GPT3[3]的后代）实现，可以在代码编写的时候实时地提供代码补全建议和注释，并且在多个编辑器的插件市场都可以下载使用。不管是从Copilot官网上的例子，还是在互联网上搜索关于Copilot的使用案例，你都可以发现它比一般的代码补全工具更为先进和灵活，它不仅能补全代码，更能创造代码，通过理解使用者简单的自然语言指令，它能够按照这些指令直接构建代码片段，并且...

大型语言模型（LLMs）时代协作策略是一个新兴研究领域，协作策略可以分为三种主要方法：合并（Merging）、集成（Ensemble）和合作（Cooperation）。每个模型都有其独特的优势，这种多样性促进了这些模型之间的合作研究尽管LLMs通过ICL和指令跟随在各种任务上表现出强大的多样性，但不同的LLMs在训练语料库和模型架构上的差异导致它们在不同任务上有不同的优势和劣势，有效的协作可以发挥它们的综合潜力。对大型语言模型（LLM）...

大型语言模型（LLMs）如GPT4、Claude和Llama等已经展示了令人瞩目的能力，这些模型不仅能够生成流畅的文本，还能在各种任务中表现出色，如翻译、摘要、问答等。尽管这些模型在许多方面表现出色，它们在逻辑推理，特别是条件推理和模态推理方面的能力仍然存在争议。条件推理和模态推理是逻辑学和认知科学中的核心研究领域。条件推理，即“如果…那么…”的推理形式，是人类思维中最基本的逻辑结构之一。例如，“如果下雨，那么地...

了解小智的粉丝相信对ZhipuAI都不陌生，在往期LangChain教程里，小智已经通过GLM4的超强能力搭建了众多的Agent智能体应用。最近AI又悄摸上线了GLM4AlltoolsAPI能力，今天我就带大家来盘一盘！GLM4更新了什么？老规矩，先放大纲，带大家看看GLM4AlltoolsAPI更新了哪些功能。如图所示，以下就是Alltools所有新增的能力。我将其分为了四块，一站式检索，一站式智能编程，企业私域增强，多模态四个部分。想要用上这些新的功能也十分...

Transformer在时间序列中已经应用比较广泛。但是最近一些针对Transformer的研究工作指出，Transformer的selfattention机制在建模序列数据时，比较倾向于学习低频的信息，而忽略了高频信息，造成频率偏差问题，影响了预测效果。在时间序列预测中，这个问题也存在，为了解决这个问题，在KDD2024上，大阪大学发表了一篇相关工作Fredformer，对Transfomrer在时间序列预测中的这种问题进行了解决。论文标题：Fredformer:FrequencyDeb...

当下，以ChatGPT为代表的大模型AI应用都采用对话式的交互形态。各种各样的应用都被改造成自然对话的方式，LUI以及对话式的交互形态俨然已经成了是不是一个AI应用的标志。那么，LUI就一定是最佳的形态吗？不一定，不可否认聊天的方式与大模型交互非常的自然，门槛也足够低，这对于一些目标清晰，步骤简单的任务非常有效。但是，遇到了一些复杂的，难以通过简单语言表达的复杂任务就很困难，想象一下，通过对话，让大模型生成一个...

本文介绍了使用FastAPI和Docker生成一个随时可用的HuggingFace模型。​想象一下，利用HuggingFace模型来确定评论的情绪。在过去，第一步是制作这样一个模型，并确保它正常工作。然而，今天的预训练模型让我们只需花很少的精力，就能准备好这样的大语言模型(LLM)。一旦我们准备好使用这个模型，主要目标是让公司的同事能够使用这个模型，而不需要下载或从头开始实现它。为此，我们将创建一个端点API，使用户能够独立地调用和使用...