AI.x社区

译者注：维特根斯坦提出他的“语言游戏”核心哲学概念的时候，还没有大语言模型，不然什么是语言活动的意义，如何通过语言的使用过程研究语义，怎样才能不把语言看作孤立静止的描述符号，而是看作体现生活的动态人类活动？什么又是大语言模型的建设性的、持续性的动态人类活动？遗憾人们已经没有机会听到这位哲学天才的看法了。概要大语言模型（LLM）是迄今为止所有模型中最接近掌握人类语言的模型，但对其语言和认知能力的看法...

介绍根据观测数据执行预测是广泛科学学科中普遍关注的问题。传统上，科学家们通过开发数学模型来解决这个问题，这些模型利用他们对潜在物理过程的了解将观察与预测联系起来。然而，在许多实际情况下，由于缺乏系统特定信息，构建这种显式模型是不可行的.近年来，出现了一类涉及人工智能（AI）的纯数据驱动方法，并取得了显著的成功.这些方法通常被称为黑盒模型，因为它们不依赖于对系统内部工作原理的深入理解，并且旨在直接从...

图1：理解物理现象的途径有很多，其中原因α产生结果β。(a)不受控制的观察会导致原因和结果之间的松散联系。(b)结合已知物理定律的精心设计的实验可以得到简单的因果关系，但为复杂现象设计这样的实验可能极具挑战性。(c)通用的机器学习（ML）模型（神经网络）通过优化许多参数来拟合复杂数据，但解析这些黑箱（例如，数百万个）参数的意义是非常困难的。(d)包含一些限制或简化操作（白色）的机器学习模型使得识别复杂现象的因...

在《迷人的数据与香农的视角》一文中，我介绍了自己的“顿悟”：事物由不同层次的随机变量展现出来的信息来表达，不同层次上的随机变量携带不同的信息，共同组合影响上一层的随机变量的信息表达，而随机变量对外表达的信息则取决于该随机变量的条件概率分布。不少朋友赞同，同行更认为与深度学习相通。如果真正理解了这句话的涵义，你其实已经理解了深度学习的精髓。例如识别一个人，体形、肤色、脸型、眼睛、鼻梁、嘴角等等，...

“风起于青萍之末”，十年前，Nvidia被人工智能（AI）清风拂面，推出CUDA，成功把自己打造成风口上的飞猪。“Nvidia还从没有抢到过像人工智能这样强的风口，这意味着我们在GPU领域的成就无以伦比”，在AI淘金热潮中，N记这家“卖水的”走到了2017CES聚光灯下。“据估计，世界上目前有3000家AI初创公司，大部分都采用了Nvidia提供的硬件平台”，如果大家最近在某东关注过游戏本，可以直观感受到N记这种成功。一切得从GPU说起。GP...

去年夏天，一名联邦法官对纽约市一家律师事务所处以5,000美元的罚款，原因是一名律师使用人工智能工具ChatGPT起草了一起人身伤害案件的摘要。文本中充满了虚假信息，包括超过六个完全捏造的过去案例，旨在为人身伤害诉讼建立判例。斯坦福大学（StanfordUniversity）和耶鲁大学（YaleUniversity）的研究人员在最近对三种流行的大语言模型（LLM）的研究预印本中发现，类似的错误在人工智能生成的法律输出中非常普遍。当生成式AI模...

一个新兴的智能模型发现在细胞及其以上层次存在灵活的问题解决能力，这不仅威胁到生物学和遗传学，还涉及医学、人工智能和意识研究等多个领域的颠覆。这可能是合法科学研究中最有趣、最具颠覆性和哲学深度的研究。MichaelLevin在细胞智能、生物电通讯和具身心智方面的工作“将颠覆一切”。这些想法确实非常疯狂，所以在我们开始之前，重要的是要知道MichaelLevin并不是民科或怪人。他是塔夫茨大学艾伦探索发现中心的主任，也是...

作者刚刚跟ChatGPT就供应链数字化的一些问题探讨了一下，被ChatGPT的现有能力所震撼。一句总结：或许量变已经引起质变，ChatGPT将会是强大的知识辅助工具与真正意义上的专家系统，有非常美好的商业化应用潜力。几点观察：1.虽然目前LLM的后端技术仍然是Transformer,attention,没有神奇之处，但作者猜测LLM会否已经量变达成质变，他看到的语料太多了。好比打网球，100小时和10000小时会有本质区别。2.互联网上的数据不都是大样本...

请帮助总结一下GEB这本书的核心思想，以及得到这个思想的思维工具《GEB：哥德尔、艾舍尔、巴赫——集异璧之大成》（Gödel,Escher,Bach:AnEternalGoldenBraid）是一本由道格拉斯·侯世达（DouglasHofstadter）撰写的著名著作。该书于1979年出版，涵盖了数学、艺术和音乐等多个领域，并融合了哲学和认知科学的思考。它的核心思想是：“集异璧，知无穷”。该书的核心思想可以总结为以下几个关键点：1.自指和形式系统：《GEB》探讨...

微软总部研究院机器学习理论组负责人万引大神SébastienBubeck联手2023新视野数学奖得主RonenEldan、2023新晋斯隆研究奖得主李远志、2020斯隆研究奖得主YinTatLee等人，在其论文《通用人工智能的火花：GPT4早期实验》中申明：“GPT4可被视作AGI（人工通用智能）的早期版本”。这项研究最近30天关注度极高，众多大佬争相转发。大神们做了非常专业的评测，虽然最后结论措辞偏向保守，但也实实在在认定了GPT4在AGI方向质的飞跃，同...

看到标题，很多专家可能马上想来争辩，别急，本文我们一步步推演。首先订正一个词：AGI,国外称ArtificialGeneralIntelligence，国内译作通用人工智能GeneralArtificialIntelligence,看似很小的一个顺序差异，实则谬以千里，大家多读英文几遍仔细体会。生命是什么薛定谔在1944年出版的书《WhatisLife》中阐述了他对生命的观点，生命是由负熵喂养大的，后来更正为，自由能才是生命的源泉。薛定谔眼里的生命就是一团活生生的自由能...

阿尔伯特·爱因斯坦曾经说过:像我们这样相信物理学的人都知道，过去、现在和未来之间的区别只是一种顽固执着的幻觉。换句话说，时间是一种幻觉。笔者觉得，此种意义上说，光也是一种幻觉，你能看到可见光，却对红外光和紫外光“熟视无睹”。而这一切不过是同一种形式的波或者粒子。人类的幻觉人类的幻觉无处不在，无时不有。只是绝大多数情境下，你觉察不到而已，像红紫外光。幻觉（Hallucination）是一种在没有外部刺激的情况...

进化通常被认为是一种随机过程，作用于通过基因变异随机出现的各种性状。已故古生物学家史蒂芬·杰·古尔德表示，如果我们让进化的时钟倒转，并“重播生命的录音带”，他怀疑“任何像智人这样的生物是否会再次进化出来。”但一项关于竹节虫的新研究表明，进化有时会以可预测的方式重复，这有助于我们理解生物如何发生变化以响应选择压力。法国国家科学研究中心的进化生物学家帕特里克·诺西尔和同事们研究了竹节虫的伪装模式，...

​思维链（CoT：ChainofThought）常常作为增强大模型推理能力的利器，但大模型推理能力的提升多大程度上来自人为任务拆解？还是额外提示的Token激发了背后更强大的计算？“让我们逐步思考：Transformer语言模型中的隐藏计算”[文献1]发现了一个有趣的现象，通过在思维链中添加无意义的中间Token（例如“……”）可以解决无中间Token时没法完成的较难的两个算法任务。文献的结论是：添加额外Token就可以增强大模型推理，甚至可以...

​强化学习（RL）智能体（Agent）常常很难在现实世界中广泛部署：初始化差异影响大，样本效率低下，情境之外难以泛化。研究发现问题的关键是违反了数据独立同分布(iid)的假设，而iid是大多数机器学习的基础。强化学习（特别是具身）智能体的经验不可避免是连续的，且跨时间点相关，这也是笔者强调的RL的非马尔可夫性。昨日，Nature机器智能，发文“最大扩散强化学习（MaxDiffRL）”解决了此问题。图1：时间相关性破坏了强化学习...