AI.x社区

01、概述在日常生活和工作中，你是否常因嘈杂的环境、重叠的对话或音视频信号的混杂而感到沟通困难？无论是个人电话、专业会议还是内容创作，这些问题都在困扰着我们。虽然音频技术日新月异，但许多现有方案在复杂场景中仍难以提供稳定且高质量的音频体验。因此，市场急需一套能够应对这些挑战并适应现代应用需求的语音处理框架，例如虚拟助手、视频会议和创意媒体制作。清晰之声，重塑沟通体验为了解决这些痛点，阿里巴巴语音...

编辑伊风出品51CTO技术栈（微信号：blog51cto）AMD的旗舰AIGPU加速器，被曝软件存在大量bug，几乎无法用于训练AI模型？！这事挺让人意外的，因为它可是AMD用来阻击霸主英伟达的一张王牌。去年12月，AMD在自家的“AdvancingAI”活动中，首次宣布推出了MI300X，其性能比英伟达的H100足足高出60%！图片一年过去了，已经投产的AMDMI300X是否真有当时宣传的那么强劲？技术分析公司SemiAnalysis发了一份真实、详尽的报告，感觉太打脸...

01、概述随着人工智能（AI）在我们日常生活中逐渐普及，它的应用领域也越来越广泛。然而，在这一进程中，我们也面临着一些技术障碍，尤其是在多模态理解（MultimodalUnderstanding）方面。多模态理解是指AI能够同时处理和分析来自文本、语音、图像等多种输入形式的能力。尽管如今许多AI模型在这些领域取得了显著进展，但它们依然存在一些亟待解决的问题，如计算资源需求庞大、延迟高、能效低以及数据隐私问题。尤其是依赖云端的...

01、概述在AI技术不断发展的今天，代码检索这一领域迎来了新的突破。由VoyageAI团队推出的Voyagecode3，作为一款专为代码检索任务设计的嵌入模型，不仅表现卓越，还大幅超越了当前的行业标杆，如OpenAIv3large和CodeSagelarge。这一进展不仅重新定义了代码检索技术的潜力，也为广大开发者带来了全新的解决方案。Voyagecode3的亮眼表现在代码检索任务中，Voyagecode3无疑是一个耀眼的明星。研究显示，这款模型在238个代码检索数...

“我们要学会使用第三方的大模型平台，而不是什么都从0开始”大模型从出现以来，其巨大的成本问题一直都是压在很多企业头上的一座山；但大模型作为一项基础设施，理论上应该和现有的基础设施相结合，比如说云计算平台。根据云计算的思想，除了实现快速部署迁移以及庞大的网络洪峰之外；其次最重要的一点就是提升资源的利用率；比如对很多公司来说，流量洪峰主要都集中在某些时间段，大部分时间的流量都比较平稳。因此，如果按照...

图片在机器学习中，特征工程占据核心地位，它涉及从原始数据中提取、选择并转换特征，旨在优化模型性能，使模型能够更精准地理解和预测数据。特征工程关键技术包括特征提取（挖掘数据模式）、特征选择（筛选关键特征）和特征转换（数学变换优化特征）。一、特征工程特征工程（FeatureEngineering）是什么？特征工程是机器学习中至关重要的一环，它涉及对原始数据的预处理、特征选择、特征提取和特征转换等过程，以提取出更有价...

1.Token在继续前行之前，需要先停下来澄清下Token这个词，以及如何将原始的语料转化为Token，在细究背后的原理之后会更加优雅的理解大模型。任何的资讯都可以生成语料，而这些语料需要被机器理解以及供后续的模型训练，那么最常见的做法是将一段文字先切片，然后一一对应的转化为数字或者向量输入模型。通常而言有三种类型的分词法：基于单词、字符以及子词的分词法。单词和字符这里就不解释，字词法运用得最为广泛，也是最为主...

大家好，我是刘聪NLP。没错，是的，对的，很棒，千问！QWQ之后，千问团队又开源了视觉推理大模型QVQ，是72B的呦。圣诞快乐，如期而至！HF:https:huggingface.coQwenQVQ72BPreview为啥是72B，可想而知，这个QVQ就是基于前一段时间开源的Qwen2VL72B模型上进一步训练得来的。有个7B的为啥没出QVQ7B，估计是参数来太少，做o1式推理效果不行，QWQ也是32B起步的，所以模型参数量很关键。在榜单上的效果，QVQ在MMMU是突破了70，并且整...

1.为什么要提出RARE问答（QA，QuestionAnswering）系统的目的以自然语言提出的问题生成答案，其涵盖的领域和类型极为广泛，从开放领域的QA到更为专业的领域，比如医疗QA。医疗QA要求模型能够掌握复杂的医学知识、解读临床场景，并选出正确且符合上下文的选项。和多数专业领域的QA类似，医疗QA也需要结构化的多步骤推理，从一系列连续的步骤中推理出答案。比如，依据患者信息给出恰当的初始治疗方案，模型首先要识别患者的状况，...

一、背景在之前的多篇文章中，我们曾零星提到过GPU利用率以及GPU异常引发的大规模任务失败问题。在本文中，我们将对这些内容进行更为系统的汇总，具体介绍常见的GPU监控指标及各种GPU异常情况。为了更好地说明问题，我们还将结合我们自己的实践经验以及其他相关论文中的案例进行分析和讨论。二、引言2.1MFU&HFU为了评估LLM训练时的效率，业界通常会使用ModelFLOPSUtilization（MFU）和HardwareFLOPSUtilization（HFU）两个关键...

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期的论文：1、为什么Transformer难以学会搜索？一项新研究揭示关键原因图片搜索是许多重要任务（如推理、规划和导航）的核心能力，但最新研究表明，Transformer架构的大模型在搜索任务上表现不佳。那么，这是数据不足、模型参数不够，还是Transformer架构本身的限制？为探究这一问题，研究者采用了一个基础的图连通性问题作为测试平台，深入分析Transfo...

一、O3究竟是什么？1.名称由来为避免版权纠纷，OpenAI放弃了o2的命名，直接将其称为o3。图片2.编程能力在编程领域，o3取得了惊人的成绩。在人类在线编程竞技平台codeforces上，o3模型的Elo得分达到2727分，排名第175位。在168076名全球参赛程序员中，o3击败了99.9%的程序员，超越了此前的GPT4o和o1等模型。这意味着o3在编程竞技中已达到顶尖水平，甚至超越了许多大厂中众多程序员的实力。要知道，字节跳动、腾讯、阿里等大厂都...

还在为大模型推理速度慢、成本高而烦恼吗？这篇来自CMU和清华大学的论文给你带来了一个颠覆性的解决方案！他们发现，在推理大型语言模型时，“大力出奇迹”不再是真理！通过深入研究推理过程中的计算与性能关系，他们提出了“推理缩放定律”，并革命性地推出了一种名为REBASE的全新算法。REBASE就像一位聪明的向导，能够巧妙地利用奖励信号，指引模型在推理的迷宫中高效探索，避免了传统方法中耗时费力的盲目搜索。实验结果令人...

前言本文基于某时间序列分类任务数据集，介绍一种融合快速傅里叶变换FFT，基于时频特征融合的FFTCNNBiGRUAttention创新分类模型。1模型简介与创新点介绍1.1模型简介●数据集：时间序列分类任务数据集●环境框架：python3.9pytorch2.1及其以上版本均可运行●使用对象：入门学习，论文需求者●代码保证：代码注释详细、即拿即可跑通。●配套文件：详细的环境配置安装教程，模型、参数讲解文档1.2创新点介绍（1）快速傅里叶变换（F...

文章链接：https:arxiv.orgpdf2412.17098Github链接：https:zjbinxia.github.ioDreamOmniProjectPage亮点直击对现有的模型框架进行了分析，并基于不同任务的特点，提出了一种高效且强大的统一图像生成与编辑框架——DreamOmni。引入了一种合成拼贴数据pipeline，用以解决当前创建和筛选高质量编辑数据的低效性和困难。此外，还利用该合成拼贴数据pipeline来提高T2I模型输出的准确性。实验结果表明，合成数据是一种高效、优质且...

2024年成为生成式AI实现商业化落地的关键年，在各个行业中脱颖而出正在对全球经济产生难以置信的影响。而企业也在不断探索其应用潜力，开发出新的商业用例。例如，在电信领域，Lumen通过Copilot每周为销售人员节省平均四小时，相当于每年节省5000万美元。在医疗保健领域，奇美医疗中心的医生现在只需15分钟而不是一小时就能完成医疗报告的撰写，护士可以在不到5分钟内记录患者信息。为了指导组织在生成式AI转型旅程中的方向，微...

随着生成式人工智能（GenAI）铺天盖地的宣传，首席财务官们（CFO）往往按捺不住内心的焦虑，不得不关注GenAI的采用成本或其近期可能产生的影响。但我相信CFO一定会打破传统惯例，并成为组织内GenAI技术倡导者，原因有以下三个方面：CFO的角色正在从财务管理扩展到战略领导层；金融领域已经出现采用GenAI的商业案例；就像云技术那样，如果完全不采用GenAI可能会导致竞争风险，因为GenAI会很快从“个性品”演变为“必需品”。首席...

编辑言征出品51CTO技术栈（微信号：blog51cto）临近年尾，相信很多朋友都在盘点这一年。很多人都在有意无意地在围观大模型这场全明星球赛。OpenAI、谷歌、Anthropic、Meta，还有马斯克的XAI，以及AI应用层面比如Perplexity等一众新秀球员，究竟谁会技压群雄，赢得接下来的2025？这还得交给入局久的专业老球迷来做赛事的点评。12月初，在知名商业博客节目InvestLikeTheBest中，有两位大模型领域的老球迷对这一赛事做了很犀利全面...

在机器学习中，方差衡量了模型对训练数据变化的敏感度，而偏差则反映了模型预测值与真实值之间的平均差异，两者共同决定了模型的泛化能力，需要在它们之间找到平衡以优化模型性能。VariancevsBias一、方差方差（Variance）是什么？在机器学习中，方差通常指的是模型在不同训练数据集上性能（如准确率、损失等）的波动程度。具体来说，如果一个模型在多个不同的训练集上训练后，其性能指标（如准确率）存在较大的差异，那么这个...

​“向量数据库在召回效率与召回准确率之间，需要做一个业务平衡”RAG的核心技术点就在于召回数据的准确性，而在相似度搜索过程中，技术载体主要是以向量数据库为主；因此，怎么提升向量数据库的召回准确率就成了一个亟待解决的问题。在上一篇关于向量数据库的介绍中说，向量数据库不同于传统关系型数据的一点就是其使用的是向量度量的方式召回数据；而这一点就导致召回的数据在向量层面有关系，但在语义方面可能完全无关。就比...