AI.x社区

局部核重整化学习机制自然通讯2025年1月10日刊发一篇题为“局部核重整化作为超参数化卷积神经网络中特征学习的机制”的文章【文献1】，学者们称“确定了一种完全不同的内核重整化形式：全连接架构的内核只是由单个标量参数全局重整化，而卷积核则经历局部重整化，这意味着网络可以选择局部分量，这些分量将以数据依赖的方式为最终预测做出贡献”。这一发现强调了一种简单的特征学习机制，CNN的重整化内核表达式中展示的核重整化...

最优传输距离数值求解拉格朗日成本下的神经最优传输一文中，笔者整理了三个要点：1.最优传输距离（也称推土距离）将统一深度学习概率分布距离计算2.大模型Transformer等价的重整化群流都将会沿着最优传输的方向进行3.拉格朗日成本处理神经网络最优传输能更有效地建模复杂的系统动力学文章提到最优传输距离目前受到数值计算效率的制约，影响了其广泛应用。这也是笔者一直关注的方向之一。文中介绍的纽约大学和Meta的AI学者创新的...

一、受罗杰·彭罗斯启发的猜想1989年，在他的重要著作《皇帝的新思维》中，罗杰·彭罗斯提出了一个引人注目的假设[1]。他认为量子过程对于形成意识的物理基础至关重要。这个观点具有吸引力，因为量子力学的方程告诉我们，在任何时刻，一个物体——无论是我，还是整个世界——都处于多种状态的叠加中。然而，在任何给定的时刻，我们只体验其中的一种。为了说明这一点，想象一个研究员走到谷歌量子AI实验室的一台量子计算机前，观...

​哥伦比亚大学和范斯坦医学研究所学者最近研究了LLM与脑神经反应的相似性。目的与发现研究的目的是确定最新的LLM是否与人脑表现出相似之处，有可能提高对LLM和大脑的理解，尤其在理解和生成语言方面。研究结果发表在《自然机器智能》上【文献1】，表明随着LLM越来越先进，不仅性能更高，也变得更像大脑。研究方法研究人员通过植入神经外科患者大脑的电极记录了他们在听语音时的脑神经反应。并将同一语音的文本提供给LLM并提取...

引言近期的发展标志着人工智能领域的一个激动人心的时期。2024年诺贝尔物理学奖授予了约翰·霍普菲尔德（JohnHopfield）和杰弗里·辛顿（GeoffreyHinton），以表彰他们在人工智能领域的奠基性工作；而化学奖则颁给了大卫·贝克（DavidBaker）、德米斯·哈萨比斯（DemisHassabis）和约翰·琼珀（JohnJumper），以表彰他们利用人工智能解决蛋白质折叠问题的成就——这是科学界长达50年的重大挑战。随着人工智能在物理学和化学中的...

​一、量子计算薛定谔的爱情与狄拉克的996一文中笔者带大家领略了量子力学的魅力，并简单探讨了量子计算（QC:QuantumComputing）。QC处于技术创新的最前沿，业界期待其解决传统计算平台无法有效解决的复杂问题，特别是突破当下AI大模型遇到的算力瓶颈。另一方面，新的大模型机理具备更高维度的新颖性，可以通过揭示隐藏的联系建立更广泛有用的创新框架，成为科学和哲学探索的有力工具，包括QC。二、AI赋能QC牛津大学、NVIDIA、...

图片概括为：1、重整化从海量语料中提取出范畴，2、持续重整化驱动范畴解构重组结晶，3、生成过程于范畴中采样做变分推理。进一步，从这个数理原理出发，可以推演出大模型未来可能的发展脉络，潜在的能力，以及可能的脆弱点，最近不少文献分别印证了这几点。一、训练语料的颗粒度、覆盖面受限，无法囊括人类现有的所有知识，甚至都无法包含某个单一领域的完备的知识，重整化出来的内部世界模型的结晶可能是局部的，相对于完备的...

Iwillsendyou11picturesandpleaseexplainwhatisinthepictureandguessitsusage,giveyouranswerinEnglishandthentranslateintoChinese我会发给你11张图片，请解释图片中有什么并猜测其用途，用英语给出你的答案，然后翻译成中文🤖Sure,goaheadanduploadthepicturesonebyone.I'lldescribeeachpictureandguessitsusage,thenprovidethetranslationinChineseforyou.当然可以，一张一张上传照片。我将描述每个图片并猜测其用法，然后为...

LLMAgent大模型智能体热度空前，但智能体是什么、为什么、怎么办，行业还没有统一认知，典型的小学语文课本里“小马过河”的现实版。是什么一、OpenAI工程师LilianWeng的定义2023.6.23规划子目标和分解：将大型任务分解为更小的、可管理的子目标。反思和改进：对过去的行动进行自我批评和自我反省，从错误中学习。记忆短期记忆：上下文学习都是利用模型的短期记忆来学习。长期记忆：长期保留和回忆信息的能力。工具使用调用外部...

译者注：维特根斯坦提出他的“语言游戏”核心哲学概念的时候，还没有大语言模型，不然什么是语言活动的意义，如何通过语言的使用过程研究语义，怎样才能不把语言看作孤立静止的描述符号，而是看作体现生活的动态人类活动？什么又是大语言模型的建设性的、持续性的动态人类活动？遗憾人们已经没有机会听到这位哲学天才的看法了。概要大语言模型（LLM）是迄今为止所有模型中最接近掌握人类语言的模型，但对其语言和认知能力的看法...

介绍根据观测数据执行预测是广泛科学学科中普遍关注的问题。传统上，科学家们通过开发数学模型来解决这个问题，这些模型利用他们对潜在物理过程的了解将观察与预测联系起来。然而，在许多实际情况下，由于缺乏系统特定信息，构建这种显式模型是不可行的.近年来，出现了一类涉及人工智能（AI）的纯数据驱动方法，并取得了显著的成功.这些方法通常被称为黑盒模型，因为它们不依赖于对系统内部工作原理的深入理解，并且旨在直接从...

图1：理解物理现象的途径有很多，其中原因α产生结果β。(a)不受控制的观察会导致原因和结果之间的松散联系。(b)结合已知物理定律的精心设计的实验可以得到简单的因果关系，但为复杂现象设计这样的实验可能极具挑战性。(c)通用的机器学习（ML）模型（神经网络）通过优化许多参数来拟合复杂数据，但解析这些黑箱（例如，数百万个）参数的意义是非常困难的。(d)包含一些限制或简化操作（白色）的机器学习模型使得识别复杂现象的因...

在《迷人的数据与香农的视角》一文中，我介绍了自己的“顿悟”：事物由不同层次的随机变量展现出来的信息来表达，不同层次上的随机变量携带不同的信息，共同组合影响上一层的随机变量的信息表达，而随机变量对外表达的信息则取决于该随机变量的条件概率分布。不少朋友赞同，同行更认为与深度学习相通。如果真正理解了这句话的涵义，你其实已经理解了深度学习的精髓。例如识别一个人，体形、肤色、脸型、眼睛、鼻梁、嘴角等等，...

“风起于青萍之末”，十年前，Nvidia被人工智能（AI）清风拂面，推出CUDA，成功把自己打造成风口上的飞猪。“Nvidia还从没有抢到过像人工智能这样强的风口，这意味着我们在GPU领域的成就无以伦比”，在AI淘金热潮中，N记这家“卖水的”走到了2017CES聚光灯下。“据估计，世界上目前有3000家AI初创公司，大部分都采用了Nvidia提供的硬件平台”，如果大家最近在某东关注过游戏本，可以直观感受到N记这种成功。一切得从GPU说起。GP...

去年夏天，一名联邦法官对纽约市一家律师事务所处以5,000美元的罚款，原因是一名律师使用人工智能工具ChatGPT起草了一起人身伤害案件的摘要。文本中充满了虚假信息，包括超过六个完全捏造的过去案例，旨在为人身伤害诉讼建立判例。斯坦福大学（StanfordUniversity）和耶鲁大学（YaleUniversity）的研究人员在最近对三种流行的大语言模型（LLM）的研究预印本中发现，类似的错误在人工智能生成的法律输出中非常普遍。当生成式AI模...

一个新兴的智能模型发现在细胞及其以上层次存在灵活的问题解决能力，这不仅威胁到生物学和遗传学，还涉及医学、人工智能和意识研究等多个领域的颠覆。这可能是合法科学研究中最有趣、最具颠覆性和哲学深度的研究。MichaelLevin在细胞智能、生物电通讯和具身心智方面的工作“将颠覆一切”。这些想法确实非常疯狂，所以在我们开始之前，重要的是要知道MichaelLevin并不是民科或怪人。他是塔夫茨大学艾伦探索发现中心的主任，也是...

作者刚刚跟ChatGPT就供应链数字化的一些问题探讨了一下，被ChatGPT的现有能力所震撼。一句总结：或许量变已经引起质变，ChatGPT将会是强大的知识辅助工具与真正意义上的专家系统，有非常美好的商业化应用潜力。几点观察：1.虽然目前LLM的后端技术仍然是Transformer,attention,没有神奇之处，但作者猜测LLM会否已经量变达成质变，他看到的语料太多了。好比打网球，100小时和10000小时会有本质区别。2.互联网上的数据不都是大样本...

请帮助总结一下GEB这本书的核心思想，以及得到这个思想的思维工具《GEB：哥德尔、艾舍尔、巴赫——集异璧之大成》（Gödel,Escher,Bach:AnEternalGoldenBraid）是一本由道格拉斯·侯世达（DouglasHofstadter）撰写的著名著作。该书于1979年出版，涵盖了数学、艺术和音乐等多个领域，并融合了哲学和认知科学的思考。它的核心思想是：“集异璧，知无穷”。该书的核心思想可以总结为以下几个关键点：1.自指和形式系统：《GEB》探讨...

微软总部研究院机器学习理论组负责人万引大神SébastienBubeck联手2023新视野数学奖得主RonenEldan、2023新晋斯隆研究奖得主李远志、2020斯隆研究奖得主YinTatLee等人，在其论文《通用人工智能的火花：GPT4早期实验》中申明：“GPT4可被视作AGI（人工通用智能）的早期版本”。这项研究最近30天关注度极高，众多大佬争相转发。大神们做了非常专业的评测，虽然最后结论措辞偏向保守，但也实实在在认定了GPT4在AGI方向质的飞跃，同...

看到标题，很多专家可能马上想来争辩，别急，本文我们一步步推演。首先订正一个词：AGI,国外称ArtificialGeneralIntelligence，国内译作通用人工智能GeneralArtificialIntelligence,看似很小的一个顺序差异，实则谬以千里，大家多读英文几遍仔细体会。生命是什么薛定谔在1944年出版的书《WhatisLife》中阐述了他对生命的观点，生命是由负熵喂养大的，后来更正为，自由能才是生命的源泉。薛定谔眼里的生命就是一团活生生的自由能...