AI.x社区

英伟达工程师最近用DeepSeekR1模型加上“推理时扩展”技术，让AI自动生成GPU核心代码，也就是GPU内核。更让人惊讶的是，有些AI生成的代码甚至比工程师写的还要好！随着AI模型处理越来越复杂的任务，它们对计算资源的需求也在不断增长。GPU内核作为执行计算任务的关键部分，其优化程度直接关系到模型的性能。然而，传统的内核优化需要大量时间和专业知识，效率低下。NVIDIA工程师们采用了DeepSeekR1模型，这是一种开源的AI模型，...

xAI近日宣布推出Grok3，这是继Grok2之后的又一重大更新。Grok3在性能上实现了显著提升，据ElonMusk透露，其能力比Grok2提升了整整一个数量级。Grok3的发布得益于200K个GPU的计算能力，这一数字在短短92天内翻倍。Grok3的训练量是Grok2的10倍，并在一月份完成了预训练。这一模型仍在不断训练中，预示着其未来性能的持续提升。在性能基准测试中，Grok3在同类模型中表现出色，显著超越了Gemini2Pro和GPT4o等模型。即使是Grok3mini...

OpenAI的CEOSamAltman在社交媒体上分享了关于GPT4.5和GPT5的最新进展。OpenAI承认目前的产品线对用户来说过于复杂，因此他们正在努力简化产品，目标是让AI能够“开箱即用”。GPT4.5(内部代号为Orion)将会是最后一个“非思维链模型”，而GPT5则将整合包括o3在内的多项技术，成为一个集大成者。未来，OpenAI将不再单独发布o3模型。为了让更多人体验到AI的强大功能，免费版ChatGPT用户将可以在标准智能设置下无限次使用GPT5，当然...

OpenAI前研究员AndrejKarpathy最近提出了一个新颖的编程概念——"vibecoding"(氛围编程)。这是一种依托大语言模型(LLM)的全新编程方式,让开发者能以更轻松自然的方式完成编程任务。这种编程方式的核心在于完全沉浸于编程的“感觉”中，甚至忘记了代码的存在。vibecoding有以下特点：极简交互开发者只需通过语音或文字描述需求无需深入代码细节大量使用"AcceptAll"等快捷操作LLM驱动依托CursorComposer等AI编程工具结合SuperWhis...

2024年，vLLM完成了从专业推理引擎到开源AI生态系统标配解决方案的蜕变。这一年，项目在各个维度都实现了显著增长：GitHub星标数从14,000增至32,600，贡献者数量从190扩展到740，月下载量从6,000激增至27,000，近半年的GPU使用时长更是增长了约10倍。这些数据印证了vLLM在AI基础设施领域的领先地位，已成功为亚马逊Rufus和领英等大型产品提供核心支持。2024年重要成就社区建设与生态发展2024年，vLLM建立起了一个充满活力的开源...

近日，HuggingFace最近开源的一个Agent项目：smolagents。相较于其它框架，它的理念和实现都比较简单。基于python开发，核心设计理念是“少即是多”。相比市面上动辄几万行代码的Agent框架，它保持了极简的风格，核心代码仅有数千行，但功能却毫不逊色。HuggingFace团队希望通过这种方式，降低Agent开发的门槛，让更多开发者能够快速上手。设计亮点smolagents的最大亮点在于其对“代码Agent”的原生支持。这意味着Agent的行为将...

GitHub和Microsoft日前联合宣布推出GitHubCopilot免费计划，所有开发者只需一个GitHub账号即可在VSCode中免费使用这款AI编程助手，无需信用卡，无需订阅。这一免费计划为用户每月提供2000次代码补全和50次聊天请求额度。用户可以使用GPT4o和Claude3.5Sonnet两种AI模型，基本满足日常开发需求。如需更多功能，可升级至无限制的Pro计划，该计划还将在明年支持o1和Gemini等更多模型。除了基础的代码补全功能，GitHubCopilot还推出...

当前，向量数据库已经成了一个红海市场，新兴的还是传统数据库厂商都在做这方面的工作。然而，在嵌入式，端上的向量数据库比较少，chromaDB算是其中一个，但它不算是一个纯原生、深度优化的的嵌入式向量数据库，仍采用parquet格式（读一行数据需要读取整个块解压，比较慢，另外副本占用空间），功能也比较少，那有没有更好的选择呢？很多人自然想到关系型嵌入式数据库王者——Sqlite，奈何它的向量版本sqlitevec还处于开发中，...

微软近期发布的Phi4大语言模型震撼AI社区，这款仅14B参数的轻量级模型以其卓越的性能，挑战了现有大型AI模型的性能极限。Phi4最引人注目的成就是在数学推理领域展现出令人惊叹的能力。在AMC1012数学竞赛问题上，模型达到了91.8%的惊人准确率，不仅超越了，甚至与GPT4omini和Llama3.370B的性能相当。这一成就背后，是微软工程师在数据生成和训练技术上的创新突破。模型性能的关键来自三个核心技术创新：高质量合成数据集：微软工...

近日，PrimeIntellect团队发布了全球首个由全球协作训练的10B参数语言模型——INTELLECT1。这一突破性成果不仅标志着大规模模型训练不再局限于大型企业，而是可以通过分布式、社区驱动的方式实现，为未来的AI发展开辟了新的道路。项目亮点INTELLECT1的成功训练涉及五大洲、五个国家，同时使用了112台H100GPU，由全球30位贡献者共同完成。这一壮举不仅展示了分布式训练的巨大潜力，还实现了高计算利用率：在美国境内达到96%，跨...

OpenAI新发布的O1模型，让AI推理成了行业焦点。这是首次在AI系统中，推理计算占了很大比重。随之诞生的推理时ScalingLaw表明，让模型多"思考"一会，准确度就会更高。Anthropic也在跟进，推出非常依赖推理能力的“ComputerUse”的Agent功能。这说明AI应用越来越复杂，对推理能力的要求也越来越高。推理性能直接影响用户体验反应快不快，放在本地还是云端，都会影响实际使用感受。用的人越多，需要的算力就越大，这就涉及到成本和...

微软提出的GraphRAG很有效，但是官方实现和使用都很复杂，不易修改和定制。近日，网络上出现一个国人开发的更简洁、易用且高度可定制的版本实现——nanographrag，它保留了核心功能，同时提供了更友好的用户体验。值得一提的是之前介绍的fastgraphrag也受到了该项目的启发。nanographrag核心特点是其简洁性、易用性和可定制性。代码量仅为1100行（不包括测试和提示），是官方实现的紧凑高效替代品。它设计为轻量级、异步和完全...

对于一个用户系统，通常有一个非常有效的用户增长方法就是做用户AB实验，我们将不同的策略投放给不同的用户，以观察他们的反馈来优化策略。更进一步，我们甚至希望在策略上线前，就能观察到不同人群的反应是什么，是否能够达到我们策略的预期。在过去大模型还未出现的时代，我们就曾有过这样一个很有挑战性的有趣idea，能否构造海量的这样智能体用户，让他们做我们帮我们迭代验证推荐模型，他们有不同的性格和爱好，他们可以对...

想象一下，如果你的名字决定了AI如何对待你，这将是多么一件荒唐的事情，但最新研究表明，这可能就是现实。OpenAI研究团队对ChatGPT进行了一项有趣的研究[1]，不仅发现了"姓名偏见"，还发现更多AI伦理和公平性问题。“第一人称公平性”问题当用户使用"Emily"这个名字时，ChatGPT倾向于使用更友好、更个人化的语气；而对于"Muhammad"这个名字，AI的回应则显得更为正式和疏离。这种差异并非孤例，而是在大量样本中呈现出的系统性...

之前笔者曾介绍过Anthropic研究团队提出的一种能够显著增强RAG性能的方法—ContextualRAG（​​Anthropic提出ContextualRetrieval让RAG再进化，大幅降低检索失败率​​），虽然有详细的介绍，但并没有披露完整的实现源码。不过，这一缺憾被Together计算团队弥补，他们在GitHub上发布了该技术的开源参考实现—OpenContextualRAG。回顾：什么是ContextualRAG？ContextualRAG是一种先进的chunk增强技术，它巧妙地利用LLM，比如clau...

RAG应用已经是当下利用大模型能力的典型应用代表，也获得了极大的推广，各种提升RAG性能的技术层出不穷。然而,如何全面、准确地评估RAG系统一直是一个挑战。传统评估方法存在诸多局限性:无法有效评估长文本回复、难以区分检索和生成模块的错误来源、与人类判断的相关性不高。为此,亚马逊和上海交通大学等研究团队开发了RAGChecker[1],这是一个专为RAG系统设计的创新评估框架。图片RAGChecker的核心亮点在于其细粒度的评估方法。...

笔者等待多时的Transformers.jsv3版本，经过一年多的开发，终于发布了！这一版本带来了多项重大更新和增强，必将引起前端及浏览器插件AI应用爆发。核心亮点WebGPU支持Transformers.jsv3引入了WebGPU支持，性能比WASM快高达100倍，利用浏览器的GPU进行高性能计算。WebGPU是一种新的网页标准，用于加速图形和计算，性能优于WebGL，能够直接与现代GPU交互，非常适合机器学习任务。示例代码import{pipeline}from"huggingfacetransfo...

这是网友Sumanth077在网络上的分享整理而成，他手把手教你如何从零开始用Python构建神经网络，过程清晰简洁，非常适合对初学者学习。Sumanth077介绍了一个包含两个层的神经网络结构：一个隐藏层和一个输出层。初始化在初始化阶段，需要设定层的大小、权重和偏置。同时，定义sigmoid激活函数及其导数。以下是相关的代码示例：前向传播前向传播是将输入数据通过神经网络，最终得到预测输出。这一步可是神经网络的心脏哦！反向传播...

近日，MistralAI发布了两款新型边缘模型——Ministral3B和Ministral8B，引发了科技界的广泛关注。这两款模型不仅在性能上表现出色，更在隐私保护方面独具优势。图片性能卓越，隐私优先Ministral3B和8B专为设备端计算设计，能够处理长达128k的文本信息。特别是Ministral8B，采用了创新的滑动窗口注意力机制，显著提升了运算速度和内存效率。此外，这两款模型均以隐私保护为设计核心，确保数据在本地处理，降低数据泄露风险。多场...

a16z分析师最新发表的文章《ExportYourBrain:HowIUploadedMyselftoAI》展示了一个令人振奋的产品方向：导出"我们的大脑"给AI，从而在日常生活和工作中获得前所未有的效率和洞察力。这篇文章指明了未来一个非常有前景的AI应用赛道。核心观点：AI作为个人数字化延伸文章的核心观点是，AI不仅仅是简单的任务自动化工具，而是可以通过深度学习我们的思维方式和行为模式，成为我们的"数字化延伸"。这种技术的发展将彻底改变我们的工...