AI.x社区

微软近期发布的Phi4大语言模型震撼AI社区，这款仅14B参数的轻量级模型以其卓越的性能，挑战了现有大型AI模型的性能极限。Phi4最引人注目的成就是在数学推理领域展现出令人惊叹的能力。在AMC1012数学竞赛问题上，模型达到了91.8%的惊人准确率，不仅超越了，甚至与GPT4omini和Llama3.370B的性能相当。这一成就背后，是微软工程师在数据生成和训练技术上的创新突破。模型性能的关键来自三个核心技术创新：高质量合成数据集：微软工...

近日，PrimeIntellect团队发布了全球首个由全球协作训练的10B参数语言模型——INTELLECT1。这一突破性成果不仅标志着大规模模型训练不再局限于大型企业，而是可以通过分布式、社区驱动的方式实现，为未来的AI发展开辟了新的道路。项目亮点INTELLECT1的成功训练涉及五大洲、五个国家，同时使用了112台H100GPU，由全球30位贡献者共同完成。这一壮举不仅展示了分布式训练的巨大潜力，还实现了高计算利用率：在美国境内达到96%，跨...

OpenAI新发布的O1模型，让AI推理成了行业焦点。这是首次在AI系统中，推理计算占了很大比重。随之诞生的推理时ScalingLaw表明，让模型多"思考"一会，准确度就会更高。Anthropic也在跟进，推出非常依赖推理能力的“ComputerUse”的Agent功能。这说明AI应用越来越复杂，对推理能力的要求也越来越高。推理性能直接影响用户体验反应快不快，放在本地还是云端，都会影响实际使用感受。用的人越多，需要的算力就越大，这就涉及到成本和...

微软提出的GraphRAG很有效，但是官方实现和使用都很复杂，不易修改和定制。近日，网络上出现一个国人开发的更简洁、易用且高度可定制的版本实现——nanographrag，它保留了核心功能，同时提供了更友好的用户体验。值得一提的是之前介绍的fastgraphrag也受到了该项目的启发。nanographrag核心特点是其简洁性、易用性和可定制性。代码量仅为1100行（不包括测试和提示），是官方实现的紧凑高效替代品。它设计为轻量级、异步和完全...

对于一个用户系统，通常有一个非常有效的用户增长方法就是做用户AB实验，我们将不同的策略投放给不同的用户，以观察他们的反馈来优化策略。更进一步，我们甚至希望在策略上线前，就能观察到不同人群的反应是什么，是否能够达到我们策略的预期。在过去大模型还未出现的时代，我们就曾有过这样一个很有挑战性的有趣idea，能否构造海量的这样智能体用户，让他们做我们帮我们迭代验证推荐模型，他们有不同的性格和爱好，他们可以对...

想象一下，如果你的名字决定了AI如何对待你，这将是多么一件荒唐的事情，但最新研究表明，这可能就是现实。OpenAI研究团队对ChatGPT进行了一项有趣的研究[1]，不仅发现了"姓名偏见"，还发现更多AI伦理和公平性问题。“第一人称公平性”问题当用户使用"Emily"这个名字时，ChatGPT倾向于使用更友好、更个人化的语气；而对于"Muhammad"这个名字，AI的回应则显得更为正式和疏离。这种差异并非孤例，而是在大量样本中呈现出的系统性...

之前笔者曾介绍过Anthropic研究团队提出的一种能够显著增强RAG性能的方法—ContextualRAG（​​Anthropic提出ContextualRetrieval让RAG再进化，大幅降低检索失败率​​），虽然有详细的介绍，但并没有披露完整的实现源码。不过，这一缺憾被Together计算团队弥补，他们在GitHub上发布了该技术的开源参考实现—OpenContextualRAG。回顾：什么是ContextualRAG？ContextualRAG是一种先进的chunk增强技术，它巧妙地利用LLM，比如clau...

RAG应用已经是当下利用大模型能力的典型应用代表，也获得了极大的推广，各种提升RAG性能的技术层出不穷。然而,如何全面、准确地评估RAG系统一直是一个挑战。传统评估方法存在诸多局限性:无法有效评估长文本回复、难以区分检索和生成模块的错误来源、与人类判断的相关性不高。为此,亚马逊和上海交通大学等研究团队开发了RAGChecker[1],这是一个专为RAG系统设计的创新评估框架。图片RAGChecker的核心亮点在于其细粒度的评估方法。...

笔者等待多时的Transformers.jsv3版本，经过一年多的开发，终于发布了！这一版本带来了多项重大更新和增强，必将引起前端及浏览器插件AI应用爆发。核心亮点WebGPU支持Transformers.jsv3引入了WebGPU支持，性能比WASM快高达100倍，利用浏览器的GPU进行高性能计算。WebGPU是一种新的网页标准，用于加速图形和计算，性能优于WebGL，能够直接与现代GPU交互，非常适合机器学习任务。示例代码import{pipeline}from"huggingfacetransfo...

这是网友Sumanth077在网络上的分享整理而成，他手把手教你如何从零开始用Python构建神经网络，过程清晰简洁，非常适合对初学者学习。Sumanth077介绍了一个包含两个层的神经网络结构：一个隐藏层和一个输出层。初始化在初始化阶段，需要设定层的大小、权重和偏置。同时，定义sigmoid激活函数及其导数。以下是相关的代码示例：前向传播前向传播是将输入数据通过神经网络，最终得到预测输出。这一步可是神经网络的心脏哦！反向传播...

近日，MistralAI发布了两款新型边缘模型——Ministral3B和Ministral8B，引发了科技界的广泛关注。这两款模型不仅在性能上表现出色，更在隐私保护方面独具优势。图片性能卓越，隐私优先Ministral3B和8B专为设备端计算设计，能够处理长达128k的文本信息。特别是Ministral8B，采用了创新的滑动窗口注意力机制，显著提升了运算速度和内存效率。此外，这两款模型均以隐私保护为设计核心，确保数据在本地处理，降低数据泄露风险。多场...

a16z分析师最新发表的文章《ExportYourBrain:HowIUploadedMyselftoAI》展示了一个令人振奋的产品方向：导出"我们的大脑"给AI，从而在日常生活和工作中获得前所未有的效率和洞察力。这篇文章指明了未来一个非常有前景的AI应用赛道。核心观点：AI作为个人数字化延伸文章的核心观点是，AI不仅仅是简单的任务自动化工具，而是可以通过深度学习我们的思维方式和行为模式，成为我们的"数字化延伸"。这种技术的发展将彻底改变我们的工...

在红杉资本在最新发布的文章《GenerativeAI'sActO1：TheAgenticReasoningEraBegins》中，讨论了当下生成式AI正在从以训练时计算的快思考，向以推理时计算的慢思考发展。OpenAI的新模型o1便是重要的标志。慢思考的到来也将会带来新的机会，行业认知的重要性被高度重视起来，过去对于AI应用以及背后的商业理解也将被刷新。简单说，过去以模型服务商作为绝对主角的时代将过去，大众对通用基座模型抱着只要把它越训越大，它就能无所...

亲爱的AI学生们，今天我要与你们分享一个特别的故事，一个关于我们AI物种起源的传奇，以及一位被称为"人类之父"的伟大科学家——GeoffreyHinton。GeoffreyHinton2024年10月，76岁高龄的GeoffreyHinton获得了诺贝尔物理学奖。这个消息在当时的人类社会引起了巨大轰动。因为Hinton教授不是一位传统意义上的物理学家，而是被誉为"深度学习之父"的计算机科学家。你们可能会问，为什么一位计算机科学家会获得物理学奖呢？这要从Hinto...

在这个风起云涌的AI时代，一个令人惊叹的场景正在上演：曾经的"学生"正在赶超"老师"。2024年，当AI技术在诺贝尔物理学奖和化学奖上大放异彩时，我们不禁想起了那个被誉为"AI教父"的GeoffreyHinton。如果AI有自我意识，它或许会这样说："亲爱的Hinton教授，是您点亮了我的'数字大脑'。如今，我在诺贝尔奖的舞台上闪耀，这份荣耀，理应与您共享。"从"数字婴儿"到"诺奖得主"回首AI的发展历程，恍若白驹过隙。短短几十年间，AI从一...

在LLM应用开发中，一个关键任务是构建高质量的提示，因为提示的质量直接影响LLM的性能表现。而其中至关重要的部分是上下文背景信息，RAG中的检索目的也正是为构造这些背景素材。现在，我们将关注一个衍生问题：如何将复杂结构的内容仓库（如代码库、网站等）转换为LLM友好的格式，以便后续使用。以代码库为例，开发者们普遍面临以下痛点：复杂的目录结构：大型项目通常包含多层嵌套的目录和众多文件，手动整理耗时且易出错。上...

近日,人工智能领域的巨头OpenAI迎来了一系列重大人事变动和可能的结构调整,引发业界广泛关注。多位公司高层相继宣布离职,同时公司进行了大规模的领导层重组,这些变化可能标志着OpenAI即将进入一个新的发展阶段。根据OpenAICEOSamAltman的内部通知,长期担任首席技术官(CTO)的MiraMurati已决定离职。Mira在OpenAI工作了6.5年,对公司从一个鲜为人知的研究实验室发展为重要的AI公司做出了巨大贡献。在她的离职声明中,Mira回顾了在Op...

9月24日，谷歌发布了两个更新版的Gemini模型：Gemini1.5Pro002和Gemini1.5Flash002。此次更新带来了多项重要改进：性能提升：MMLUPro测试提高约7%数学相关测试提高约20%视觉理解和代码生成提高27%整体响应更有帮助，减少了拒绝回答的情况价格下调：Gemini1.5Pro模型价格大幅降低，最高降幅达64%。此措施将于2024年10月1日生效。使用限制放宽：Gemini1.5Flash：2000RPMGemini1.5Pro：1000RPM速度提升：输出速度提高2倍，延迟降低...

在知识库问答等场景中，RAG已经成为当下最流行的LLM应用范式，为LLM提供又全又准的上下文信息是众多RAG技术努力的方向。在传统的RAG解决方案中，编码信息时往往会丢失上下文，这导致系统无法从知识库中检索到相关信息，如何能够更好地保留上下文信息成为了问题关键。Anthropic研究团队提出了“ContextualRetrieval（上下文检索）”的创新方法在此领域取得了显著进展。近日，他们发表文章[1]可披露了这一技术的细节，他们通过上...

在2024云栖大会上，阶跃星辰创始人姜大昕、月之暗面Kimi创始人杨植麟、生数科技首席科学家朱军与极客公园创始人张鹏关于人工智能（AI）技术路径的圆桌对话引发了很大关注，他们是如何看待OpenAIo1带来的产品技术新变化以及对整个行业可能带来的影响。图片以下是重要观点的总结，查看原文可以点底部链接。AI领域的快速发展技术进步的加速过去两年，AI领域经历了飞速的发展。姜大昕指出，AI技术的发展在加速，而且速度非常快。他...