AI.x社区

GPT2（XL）有15亿个参数，使用16位精度，一个参数占用2个字节的内存，因此这些参数大约占用3GB的内存。按照如下超参数设置：优化器→Adam批量大小→32变换层数量→48序列长度→1000要想在单个GPU上训练GPT2，所需的最小内存大概是多少？答案可能会吓到你。在一个拥有32GB内存的单个GPU上，几乎无法训练一个3GB的GPT2模型。但这怎么可能呢？内存都去哪了？让我们来了解一下。模型在训练过程中有很多方面会持续占用内存。1)优化器...

在NLP领域，联合概率和条件概率是基础且重要的概念，它们与贝叶斯统计方法紧密相关。联合概率指多个事件共同发生的概率，条件概率则描述某事件在特定条件下的发生概率。贝叶斯定理通过结合先验概率和条件概率，更新文本中事件发生的概率估计，这在垃圾邮件过滤、命名实体识别和情感分析等NLP任务中至关重要。​贝叶斯统计则基于贝叶斯定理来推断未知参数或事件发生的概率，从而提升了NLP模型在处理文本数据时的准确性和效率。Ba...

今天凌晨，法国著名开源大模型平台Mistral.ai，开源了超大多模态模型——PixtralLarge。PixtralLarge有1240亿参数，支持128K上下文，能理解文本、图表、图像等，也是Mistral.ai自家聊天助手leChat目前正在使用的视觉模型。支持中文、法文、英文等十多种主流语言。根据测试数据显示，PixtralLarge在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基准测试的数据，超过了GPT4o、Gemini1.5Pro、Claude3.5Sonnet、Llama3.290B，成为目...

OpenAI联合创始人兼总裁GregBrockman，转发了一个特殊的ChatGPT实际用例。一位5岁小孩用高级语音模式与ChatGPT深聊了超过45分钟，并且在聊天的过程中问了很多问题，ChatGPT细心为他解答了这些难题并且从头至尾都保持着耐心，这对于幼儿教育领域来说非常有开创性。分享这个案例的是《永远不够》的作者、Tiny的联合创始人AndrewWilkinson。他的5岁儿子是从关于汽车是如何制造的问题开始的，ChatGPT以一种他能够理解的方式解释了这...

论文链接：https:arxiv.orgabs2411.10440亮点直击引入了LLaVAo1，这是一种专为系统性推理设计的视觉语言模型，在需要结构化思维和推理的任务中表现出色。证明了LLaVAo1使用阶段级束搜索具有推理时的可扩展性。这意味着通过增加计算资源，本文的方法性能可以进一步提升，从而适用于更复杂的任务和场景。在各种基准测试上的广泛实验表明，本文的方法相较于更大规模和闭源模型实现了更优异的性能，凸显了LLaVAo1在多模态推理中的有...

PolarDBX开源脉络2021年10月在云栖大会上，阿里云正式对外开源了云原生分布式数据库PolarDBX，采用全内核开源的模式，开源内容包含计算引擎、存储引擎、日志引擎、Kube等。2022年1月，正式发布2.0.0版本，新增集群扩缩容、以及binlog生态兼容等特性，兼容maxwell和debezium增量日志订阅，以及新增其他众多新特性和修复若干问题。2022年3月，正式发布2.1.0版本，全面提升PolarDBX稳定性和生态兼容性，其中包含基于Paxos的三副本...

在当今快节奏的数字环境中，依赖人工智能的企业面临着新的挑战：运行人工智能模型的延迟、内存使用和计算能力成本。随着人工智能快速发展，幕后推动这些创新的模型变得越来越复杂、资源密集。虽然这些大模型在处理各种任务中取得了出色的性能，但它们通常伴随着很高的计算和内存需求。对于威胁检测、欺诈检测、生物识别登机等实时人工智能应用，提供快速、准确的结果变得至关重要。企业加快实施人工智能的真正动机不仅在于节省...

一、RAG评估的挑战增强检索生成技术（RetrievalAugmentedGeneration，简称RAG）目前正成为增强大语言模型（LLM）性能的核心手段。该技术通过将外部知识库融入LLM，大幅提升了大模型的精确度和对上下文的感知力。然而，对RAG系统性能的评测颇具挑战，这促使了一系列开源RAG评估框架的诞生。下面，让我们共同探讨5大开源的RAG评估框架。二、开源评估框架1：RagasRagas（RetrievalAugmentedGenerationAssessment）是一款专为评测增...

在自然语言处理中，词汇通常被表示为离散的符号（如独热编码OneHotEncoding）。但独热编码存在维度灾难和语义缺失，导致计算复杂且无法表达词汇间关系。为了解决这些问题，词嵌入技术应运而生。词嵌入（WordEmbedding）是NLP中的一个关键技术，它能够将词汇从离散的符号表示转换为连续的向量表示，从而方便后续的深度学习模型进行处理。WordEmbedding一、OneHotEncoding什么是独热编码（onehot编码）​？独热编码的基本思想是为...

大模型正在从技术变革走向产业变革。无数的AI原生应用，正在重新定义我们与数字世界乃至物理世界的交互方式。作为产业端落地的重要行业之一，大模型在金融领域，也正在创造越来越多的增量值。大模型在金融行业的入口主要体现在以下几个方面：•金融风险管理：大模型技术可以用于构建更准确、更全面的风险模型，帮助金融机构评估和管理市场风险、信用风险、操作风险等，提供更精确的风险预测和决策支持。•量化交易：大模型技术...

GoogleDeepMind的最新版本GeminiExp1114，在ChatbotArena上取得了重要成就，凭借超过6000个社区投票，跃升至总榜第1，并在多个领域表现出色：总排名：3>1数学：3>1难题解答：4>1创意写作：2>1视觉识别：2>1编程：5>3首先，我们要理解LLMArena是什么。LLMArena（或称聊天机器人竞技场）是一个评估LLM的平台，主要目标是促进社区驱动的LLM性能评估。它是最有声望的评估平台之一。从总榜来看，谷歌新模型Gemini（Exp1114）分数直涨...

近年来，机器学习的普及率急剧上升。机器学习从数据中创造价值的潜力使其对许多不同行业的企业都具有吸引力。大多数机器学习产品都是使用现成的机器学习算法设计和实现的，并进行了一些调整和微小的改动。机器学习算法种类繁多，可分为三大类：监督学习算法在给定一组观察值的情况下对特征（自变量）和标签（目标）之间的关系进行建模。然后该模型用于使用这些特征预测新观察的标签。根据目标变量的特性，它可以是分类（离散目...

编辑星璇本周是国际反诈骗宣传周，一位名为“黛西”的老奶奶跟电话诈骗犯斗智斗勇的故事冲上了热搜。英国电信巨头VirginMedia的移动运营商部门O2表示，该公司已开发出一种类人AI老奶奶，能够实时接听诈骗电话，通过假装自己是潜在的易受骗对象让诈骗者一直在电话中忙个不停，从而浪费他们的时间，逼真程度可以让诈骗分子40分钟都发现不了。图源：TechCrunch据称，这种名为“黛西”（Daisy）的AI角色设定为一位老奶奶，打起电话...

在人工智能领域的人才争夺战中，又一则重磅消息引发业界关注。据可靠消息源透露，OpenAI负责AI模型发布的研究项目经理MiannaChen日前已确认离职，计划加入前CTOMiraMurati的新创业公司。Chen在OpenAI的地位举足轻重。作为核心研究人员，她曾主导了包括GPT4、o1推理模型和高级语音模式等多个重量级项目的发布工作。更重要的是，她在后训练团队担任要职，负责帮助AI模型针对特定任务进行专门化，并为模型输出质量提供重要反馈。在...

图片概括为：1、重整化从海量语料中提取出范畴，2、持续重整化驱动范畴解构重组结晶，3、生成过程于范畴中采样做变分推理。进一步，从这个数理原理出发，可以推演出大模型未来可能的发展脉络，潜在的能力，以及可能的脆弱点，最近不少文献分别印证了这几点。一、训练语料的颗粒度、覆盖面受限，无法囊括人类现有的所有知识，甚至都无法包含某个单一领域的完备的知识，重整化出来的内部世界模型的结晶可能是局部的，相对于完备的...

随着人工智能的快速发展，多模态大型语言模型（MLLMs）已经成为理解视觉数据和语言上下文的关键技术。这些模型能够处理和生成结合文本、图像和其他模态的内容，但如何有效评估它们的性能一直是个挑战。本文通过全面回顾现有的多模态基准测试，为研究人员提供了评估MLLMs性能的工具和方法，这对于推动人工智能技术的发展具有重要意义。多模态大型语言模型（MLLMs）的快速发展为人工智能带来了重大进步，显著增强了理解和生成多模...

本文正在参与AI.x社区AIGC创新先锋者征文大赛，详情可参见：[https:www.51cto.comaigc2223.html](https:www.51cto.comaigc2223.html)。[TOC](【文心智能体】初次游西湖不发愁，旅游智能体全程陪你走（文心智能体创建的保姆级流程和调优经验）)一、智能体介绍在AI浪潮席卷的今天，如雨后春笋般丛生的AI应用，我们完全可以借助AI的能力解决日常生活中遇到的问题。最近参加了百度文心智能体平台的AI大师工坊活动！！！我利用文心平...

随着人工智能技术的快速发展，其对我们日常生活的影响日益显著。美国《福布斯》杂志网站刊登了未来学家伯纳德·马尔的文章，对2025年人工智能技术可能带来的变革进行了预测。以下是对这些趋势的详细分析。趋势一：增强型工作预计到2025年，人类在利用人工智能和拓展技术能力方面将更加审慎。这将减少对简单聊天机器人的依赖，同时释放出更多时间，让人们专注于那些需要创造力和沟通能力的工作。趋势二：实时自动决策企业将越来...

​“大模型训练的本质，是一个参数不断优化的过程”大模型训练的本质是通过大量的数据和计算资源，优化一个参数化的模型，使其能够在高纬空间中拟合复杂的输入和输出关系；从而学习到数据中的模式和规律，并能对未知数据进行推理和预测。大模型训练的本质要想了解大模型训练的本质，首先要明白大模型是什么；从表面来看，大模型就是一个具有大量参数的神经网络模型。可能上面这句话很多人已经听了很多遍，但往往复杂的问题总是...

​“大模型需要先经过模型设计和实现，然后再进行预训练获得通用能力，最后通过微调强化能力”在上一篇文章中介绍了预训练为什么要使用无监督学习，并简单介绍了预训练与微调；而在之前的文章中也讲过什么是训练和微调，而现在再回头看看发现之前的理解还是太肤浅了。所以，今天我们就来深入理解一下预训练与微调。大模型预训练与微调在之前学习大模型训练和微调的过程中，一直认为预训练就是使用大规模数据训练一个新模型的过...