AI.x社区

当前，大型语言模型，例如GPT和Llama，主要是根据「前文的单词序列」对「下一个token」进行预测的方式来训练。但你有没有想过一个问题，为什么不对后文的tokens同时进行预测呢？最近，Meta、巴黎高科路桥大学、巴黎萨克雷大学的研究人员就联合提出了一种新的训练方法，即一次性预测多个未来tokens，可以提高模型的样本效率。论文链接：​​https:arxiv.orgpdf2404.19737​​具体来说，在训练语料库的每一个位置，要求模型使用n...

就在刚刚，老黄手持Blackwell向全世界展示的那一刻，全场的观众沸腾了。它，是迄今为止世界最大的芯片！眼前的这块产品，凝聚着数量惊人的技术如果用老黄的话说，它就是「全世界迄今为止制造出来的最复杂、性能最高的计算机。」8年内，1.8万亿参数GPT4的训练能耗，直接疯狂降到1350；而推理能耗则直接降到145000英伟达产品的迭代速度，已经彻底无视摩尔定律。就如网友所言，无所谓，老黄有自己的摩尔定律。一手硬件，一手CUDA，...

1.神经网络神经元：模拟人脑神经元，通过输入、权重、偏置和激活函数计算输出。激活函数：引入非线性特性，如ReLU提供正值输出，Sigmoid提供0到1之间的输出。前向传播：输入数据在网络中层层传递，计算并得到最终输出。反向传播：通过计算损失函数梯度，优化网络权重，提高模型性能。2.损失函数与优化损失函数：衡量模型预测与实际值差异，如均方误差（MSE）计算预测值与真实值差的平方和。优化算法：如梯度下降，通过迭代调整...

STIC框架概述，这是一个专注于LVLM图像理解能力的两阶段自我训练算法。第1阶段，基础LVLM使用精心设计的提示、设计不良的提示和扭曲的图像自我构建其图像描述偏好数据集。在第2阶段，之前使用过的监督微调（SFT）数据的一小部分被回收利用，并与模型生成的图像描述进一步微调基础LVLM。大型视觉语言模型（LVLMs）将大型语言模型（LLMs）与预训练的视觉编码器结合在一起，从而激活了模型的感知能力，以理解不同查询的图像输入并...

随着得物业务的快速发展，积累了大量的时序数据，这些数据对精细化运营，提升效率、降低成本有着重要作用。在得物的时序数据挖掘场景中，时序预测Prophet模型使用频繁，本文对Prophet的原理和源码进行深入分析，欢迎阅读和交流。一、引入时间序列是指按照时间先后顺序收集或观测的一系列数据点，这类数据通常都具有一定时间相关性，基于这种顺序性，我们可以对时间序列进行多种数据挖掘任务，包括分类、聚类、异常检测和预测等...

1.背景信息抽取（InformationExtraction,IE）是自然语言处理领域的核心，也是构建知识图谱、知识推理和知识问答等众多下游任务的基础。信息抽取一般包括：命名实体识别（NamedEntityRecognition，NER）、关系抽取（RelationExtraction，RE）和事件抽取（EventExtraction）。图片随着大语言模型的兴起，比如GPT4，信息抽取领域迎来了重大发展，因为这些模型在文本理解等方面能力非常强悍。所以现在大家都倾向于使用LLM来进行信息...

随着模型规模的不断扩大，其对计算资源的需求也水涨船高。高昂的内存和计算成本不仅限制了LLMs在高性能计算平台之外的应用，也增加了研究和开发的门槛，这对于资源有限的研究机构和企业尤其成问题。在这样的背景下，减小LLMs的大小和计算复杂度显得尤为重要。这可以使LLMs在更广泛的硬件平台上得到应用，包括那些价格更便宜、更易获得的设备，从而推动AI技术的普及和应用。优化模型的计算效率对于环境的可持续性也至关重要，因...

今天OpenAI又向所有用户正式开放GPTs使用，免费用户也可以白嫖GPTs了。但是跟GPT4o一样会受到限制，目前我的免费账号还没被灰度，无法测试限制次数是多少。白嫖GPT4o大家应该都享受到了，我的免费账号晚上测试了一下感觉GPT4o次数限制还是挺宽松的。每三小时可以发送大约50条消息，对于大部分用户来说肯定够用了。免费的GPT4o支持以下操作：体验GPT4的智能水平（据传免费的4o是阉割版）分析上传的文件内容，并支持将数据制作成...

今天给大家介绍一篇MIT上周发表的文章，使用GPT3.5turbo解决时间序列异常检测问题，初步验证了LLM在时间序列异常检测中的有效性。整个过程没有进行finetune，直接使用GPT3.5turbo进行异常检测，文中的核心是如何将时间序列转换成GPT3.5turbo可识别的输入，以及如何设计prompt或者pipeline让LLM解决异常检测任务。下面给大家详细介绍一下这篇工作。论文标题：Largelanguagemodelscanbezeroshotanomalydetectorsfortimeseries下载...

李飞飞近日和Etchemendy（斯坦福哲学教授，曾任斯坦福大学教务长）在《时代（Time）》上刊载新文章《No,Today’sAIIsn’tSentient.Here’sHowWeKnow》，明确指出当前技术路线无法制造有感知能力的AI。该文章也得到了同一阵线LeCun的支持，并转发了该推文。下面是该文章全文：通用人工智能（AGI）指的是一种至少在人类展现智能的各个方面与人类一样聪明的智能体。它曾经是我们对人工智能的称呼，直到我们开始创造出在有限领域内...

1.概念OpenDevin整个系统分为前端和后端两个主要部分。前端负责处理用户交互和显示结果，而后端负责处理业务逻辑和执行AIAgent。在计算机科学和人工智能领域，"智能体"（Agent）一词通常用来指代那些在特定环境中展示出自治性、反应性、社交性、主动性、推理性以及认知性等智能特性的软件或硬件实体。AI智能体是一个具备复杂推理、记忆和任务执行能力的高级系统。2.OpenDevin核心组件AgentHubOpenDevin是一个集成了多种智能体（...

编辑伊风出品51CTO技术栈（微信号：blog51cto）Suno清晨干大事，宣布此前只对高级版和专业版用户开放的v3.5版本，所有用户都可用了！图片简单说，Suno生成的歌曲变长了也变强了。作为音乐界的ChatGPT，Sunov3的表现也很惊艳，但总让人听起来有种意犹未尽的感觉。相比市面上通常三分钟以上的流行音乐，Sunov3两分钟的时长上线着实限制了歌曲的结构。然而在v3.5版本中，时长可以扩展到4分钟的歌曲，则更加完整清晰了。从歌曲的结...

编者按：目前，LLMs在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助LLMs的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了LLMs在数据标注领域的应用前景。文章指出，在某些场景下使用LLMs确实可以加快标注流程、降低成...

通过无缝集成Python和各种人工智能(AI)工具，Excel的功能正在迅速发生转变，彻底改变了工作节奏。去年，微软宣布了Python集成的公开预览版，Excel因此迎来了重大升级。这意味着开发人员和数据分析师不再需要安装额外的软件来利用Python的功能，因为Excel现在与内置连接件和Python集成的power查询捆绑在一起了。将Python集成到Excel中实现了开发者由来已久的目标，从此不用依赖PandasreadExcel、OpenPyXL和PyXLL之类的工具。鉴于...

变动与安全团队的争议先说说OpenAI的新动作吧，他们最近搞了个新安全委员会，专门负责监督公司的“关键”安全决策。不过，这个委员会全是公司内部人，包括CEOSamAltman等高层。这就好比你让狼来管理羊圈，能有多少独立性和透明度还真是个问题。大家都知道，让自己人来监督自己，这种操作怎么看怎么不靠谱。而且，这阵子OpenAI的安全技术团队可是人才流失的速度可以和他们程序猿脱发的速度相提并论。先是治理团队成员DanielKokot...

出品51CTO技术栈（微信号：blog51cto）Mistral发布了首个代码模型Codestral22B！该模型的疯狂之处不仅在于训练了80多种编程语言，包括许多代码模型忽略的Swift等。还在于他非同一般的速度。要求用Go语言编写一个“发布订阅”系统。这边的GPT4o还在输出，Codestral已经用快到看不清的速度交卷了！由于该模型刚刚推出，尚未公开测试。但根据Mistral的负责人说法，Codestral是目前表现最佳的开源代码模型。图片感兴趣的朋友可以移...

大型语言模型（LLMs）在预训练后仍难以有效整合大量新经验，当前使用的检索增强生成（RAG）方法无法帮助LLMs跨段落整合新知识。人类大脑通过海马体的索引结构来实现关联记忆能力，这是当前RAG系统所缺乏的。知识整合与RAG。需要知识整合的任务对于当前的RAG系统来说特别具有挑战性。在上述例子中，从描述可能成千上万的斯坦福教授和阿尔茨海默症研究人员的段落中找到一位从事阿尔茨海默症研究的斯坦福教授。由于当前方法孤立地...

OpenAI今天在X上发布推文：「所有ChatGPT免费用户现在都可以使用浏览、视觉、数据分析、文件上传和GPTs。」OpenAI此前就曾承诺向所有人免费开放他们的新旗舰产品GPT4o以及浏览、数据分析和内存等功能。时隔半个月，承诺终于兑现。免费用户狂喜，可是付费用户却笑不出来。「如果每个人都免费，为什么我要付费？」大批付费用户的留言攻占了OpenAI的评论区。其实，免费用户和付费用户还是存在一些区别的。免费和付费的区别免费用户...

真正Open的AI公司Mistral又低调上新了。这次，他们发布了首款代码生成模型Codestral，支持80多种编程语言以及32K长上下文窗口。不仅在基准测试上取得了惊艳的表现，而且代码生成的速度也让试用的网友非常满意。目前，Codestral提供了多种API，而且模型权重也公开在HuggingFace上。项目地址：https:huggingface.comistralaiCodestral22Bv0.1treemain代码生成新SOTACodestral的训练数据包含80多种编程语言，包括最流行的Python、J...

就在刚刚，清华团队发布世界首款类脑互补视觉芯片——「天眸芯」。这是一种基于视觉原语的互补双通路类脑视觉感知新范式，标志着我国在类脑计算和类脑感知两个重要方向，取得的重大突破！研究《面向开放世界感知具有互补通路的视觉芯片》（AVisionChipwithComplementaryPathwaysforOpenworldSensing）一经发布，即登上Nature封面。团队由清华大学施路平教授领衔，依托清华精密仪器系的类脑计算研究中心。论文地址：​https:www....