就在刚刚，一个令人悲伤的消息传来。
谷歌DeepMind研究科学家Felix Hill，于2024年12月5日英年早逝，年仅41岁。
自2023年初以来，他一直在与严重的精神疾病作斗争。期间，他表现出了重度抑郁和严重的自杀倾向，终于还是没有扛过去。
Felix是一位学术成果颇丰的AI学者，谷歌总引用量为19680，参与创建了自然语言理解基准GLUE和SuperGLUE。
Felix Hill本科在牛津大学学习数学，随后在剑桥大学拿到了语言学硕士学位，和计算语言学博士学位。
毕业后，他曾有8个月在高中担任数学老师，随后进入谷歌DeepMind，当了将近8年的AI研究者。
消息传来，他的AI圈好友无不表示悲痛和难过。
1月11日，Felix的葬礼将于伦敦北部举行，届时将进行现场直播。
许多认识他的人悲痛地留言说：Felix是一个很特别的人，超前于这个时代。
左右滑动查看
最令人心碎的博客
是什么样的原因，让这样一位成果丰硕的AI学者的生命逝去？
他生前的一篇博客，揭露了许多细节。
他详细描述了2023年母亲离世后，正在精神病院接受治疗的自己症状更严重了。接下来的12个月内，他更是陷入极度焦虑和自杀的抑郁状态。
他也写道，自己当初投身AI研究并不是为了赚钱，但AI大爆发后，自己仿佛被迫进入「战争」状态，写论文、搞研究、创业，都令人压力重重，找不到出路。
即使积累了大量财富，自己也依然出了问题。
文章地址：https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
英伟达高级研究者Jim Fan读完悲痛地表示：这是我读过最令人心碎的博客，因为它如此真实，如此贴近内心。
Jim Fan表示，AI不应该是200B权重的压力和痛苦。
曾经，这是一个充满咖啡因带来的灵光乍现的地方，是令人兴奋的深夜arxiv探索之旅，是能让研究者脸上露出笑容的绝妙想法。但所有涌入的资本和关注，似乎正在迫使每个人竞相逐底。
黄仁勋经常对员工们强调，不要用「打败这个，碾压那个」的措辞。因为大家的目的是为了提升整个生态，而不是让任何人陷入深渊。AI学者的工作是做大蛋糕，越大越好，然后再分配。
AI不是零和博弈，事实上，它可能是人类有史以来拥有的最正和的博弈。大家应该做的，是向竞争对手传递爱意。
Jim Fan写道，虽然并未有幸在现实生活中认识Felix，但自己很喜欢他的研究品味，为他的每一篇新论文都设置了Google Scholar提醒。他在AI智能体和VLM方面的工作也对自己影响很深。
「他本应该成为一个很好的朋友。我想认识他，但现在已经不可能了。」
「安息吧，Felix。愿来世你不需要去战斗。」
2000亿权重的责任：现代AI工作中的压力
下面这篇博客中，Felix详细回顾了AI爆火的几年，给自己的生活带来的剧变——
过去两年，AI领域发生了不可逆转的变化。
ChatGPT的月活数接近2亿人。Gemini在2024年5月的访问量接近3.2亿次，AI爱好者现在可以使用AI微波炉、AI牙刷，甚至AI足球。
然而，对于我们这些在AI领域工作的人来说，这种大众兴趣的激增既是福也是祸。
诚然，薪资水平上涨了，股价和市值也随之提高。但另一方面，这种变化也带来了独特的压力。
这篇博客讲述的是现代AI领域的压力。它面向所有在AI领域工作的人（按保守估计，现在全球人口中大约有87%的人在从事AI相关工作），特别是那些从事AI研究的人。
最终，我希望通过讨论AI研究中的压力源，让我们这些有幸在该领域工作的人生活得更快乐一些。
因为，尽管目前一片混乱，这仍然是一个美妙而充实的职业——它有潜力解决科学、哲学乃至人类本身的诸多重大问题。
无处可逃
几个月前，我参加了一个朋友的40岁生日派对。在那些我不太熟悉的人中，我注意到一个奇怪的现象。
尽管我那时身体不适，而且明显不太想讲话，但我周围还是形成了一个包围圈，原因仅仅是，大家知道我在DeepMind上班。
而且，他们想聊的不是足球或80年代音乐，恰恰是我最想避免思考的主题——AI。
虽然很感激这么多人对我的工作感兴趣，但这也提醒我过去两年发生了多大的变化。
银行家、律师、医生和管理顾问都想听听我对ChatGPT的看法；虽然很少有人声称在工作中直接使用了LLM，但他们确信，AI领域正在发生一些他们应该了解的事情。
作为一名研究人员，我相信你也能体会到这种在社交场合无法放松的感觉。
但情况更糟。就连在自己家里，我也找不到安宁。
我早已不再看新闻，因为害怕引发焦虑。但即使是在看足球、VH1、蒙塔尔巴诺探长，或者那部出色的《那不勒斯四部曲》改编剧时，广告中也充斥着与AI相关的内容。
在这段时间，我时常幻想着收拾行李，跨越大洲去加入一个隐居群体。但很可能连内观禅修（Vipassana）也被AI渗透了，这不会让我惊讶。
无形的竞争
几家大公司竞相开发最大、最好的LLM，这一事实本身就令人压力重重——无论你为哪家公司工作。
现在从事AI研究，感觉就像参与一场战争。希特勒和达奇·舒尔茨的例子告诉我们，参战可能导致精神病态、离婚和自杀等严重后果。
当然，我并不是要把参与AI研究等同于参与真实战争，但我的亲身经历却表明，这种类比是很真实的。
关乎底线的工作
通常，业界的研究人员并不习惯于自己的工作对雇主的底线产生直接且即时的影响。
当然，许多研究人员都梦想能够产生这样的影响。只是以前，这种机会可能是十年难遇。
如今，对LLM基础研究的结果，往往只会对模型性能产生微小、短期的波动。然而，由于公司估值与LLM性能（难以分割地？）挂钩，这些波动可能导致股价出现数十亿美元的起伏。
这种动态令人倍感压力，而且这也不是AI研究人员在研究生阶段、博士后期间，甚至在2022年之前的工作中所能预料到的。
钱，钱，还是钱
大多数AI研究人员，尤其是我们这些超过某个年龄的人，当初投身研究并不是为了赚钱。
做自己热爱的工作还能获得丰厚报酬听起来是个完美方案，但这也可能引发强烈的焦虑。特别是当推动你收入增长的外部因素不在你的控制范围内，且/或者这些因素让你对工作的热爱程度大不如前时。
无论AI是否与此有关，突然积累财富可能会导致各种问题，看看那些经过多年努力终于成名的演员或歌手就知道了。成瘾、感情破裂、友谊破碎，甚至自杀只是一些较为常见的症状。
这些症状，我确实都感同身受。
科学家角色缺失
LLM的规模、简单性和有效性使得做出「相关」的「科学研究」变得困难，这里的相关指的是能立即改进LLM。
领先的LLM研究人员已经开始认同Rich Sutton的「苦涩教训」：除了规模之外，几乎不需要任何创新。
而且，即使理论上可能存在实质性创新，实现它往往需要在不同条件下反复训练最大规模的LLM。这甚至连最大的公司都负担不起。
对于一个「普通」的研究科学家来说，这感觉简直令人绝望。
对于习惯于在5至10人的小团队中工作的工业界科学家来说，这些已经很艰难。但学术界的人所遭遇的无疑更加严峻，比如那些博士生、博士后和AI/CS/机器学习领域的教职人员。
发表论文
虽然学术界的人可以（也应该）继续发表从LLM实验中获得的见解，但对于工业界的科学家来说，发表论文的问题就没那么明确了。
发表论文一直是科学过程的内在组成部分，也一直是AI研究的核心原则。我接触过的大多数AI研究人员，特别是研究科学家，都同意我的观点：发表论文是我们职业生涯的关键。
但是，至少在工业界，过去2年来，研究成果是否能够发表的问题变得越来越不明确。能够改进LLM的小技巧可能等同于LLM之战中的关键武器。将这些秘密公开是否对资助研究的组织有利，这始终是一个需要深思熟虑的问题。
这一切都意味着，研究人员经常对自己想法的前途毫无把握，至少，这会对我造成巨大的压力。
创业公司
当然，摆脱这些困扰的一个可行出路，就是规划科研方向，筹集资金并成立创业公司。事实上，目前AI创业公司（无论大小）的激增表明有多少科学家选择了这条路。
但成为创始人并不能必然地规避相关压力。
众所周知，创业的压力也很大；即使在当前投资者热情高涨的情况下，许多资金充足的AI创业公司仍然失败了。
我知道，成为创始人是一段特别孤独的旅程。这无疑是当下雄心勃勃的科学家们的一个可行选择，但这既不会让做研究变得容易，也不会减轻压力。
为什么要写关于压力的博客
过去两年在AI领域可谓混乱而疯狂，而对我个人而言，这更是一段特别动荡的时期。
2023年4月，我的母亲在与阿尔茨海默症长期抗争后离世。那时的我正在精神病院接受治疗，因为出现了严重的精神症状，其中压力很可能是重要诱因。
在接下来的12个月里，表面上我是在康复中，但实际上却陷入了极度焦虑和自杀倾向的抑郁状态。
所幸在这期间，我遇到了非常理解我的处境（以及认可我对公司的价值）的雇主，他们一直为我提供治疗和精神上的支持。
经过另外6个月的重度抑郁之后，我的状况开始好转，最近也感觉自己有能力写下这些经历。
我深刻地认识到压力和焦虑是密不可分的；事实上，它们本质上可能是同一件事。诚然，像任何适应性特征一样，焦虑有时也能带来积极影响（比如提高生产力），但一旦焦虑变得失控，后果可能相当严重。
正是在尝试重新学习如何成为一名AI研究员的过程中，回顾AI领域这两年的发展，让我获得了这篇博客中所分享的见解。
诚然，仅仅分享这些见解并不能从根本上解决问题，但在最艰难的时期，能给我带来希望的少数事情之一就是意识到我并不是一个人在战斗。
如果你现在也在经历类似的困扰，请记住——你并不孤单。
社交焦虑
我已经讨论了当前从事AI研究的人可能遭受的诸多压力或焦虑的诱因。
然而，还有一种压力我尚未提及，这是因为我很幸运从未亲身经历过。我对它的了解，完全来自于与朋友和同事的深入交谈。
这种压力就是社交焦虑。
据朋友们反映，那些有社交焦虑的人往往会觉得群体互动充满挑战。在现代AI领域，这是一个格外严峻的挑战，因为大型项目团队和大规模的（通常是跨洲际的）协作已成为必需。
目前行业中的高流动率更是雪上加霜，因为已建立的团队（通常作为社交「安全网」）可能在一夜之间解散瓦解。
人员流动还可能引发信任危机，因为曾经可靠的伙伴可能会转投竞争对手的研究团队。
值得欣慰的是，社交焦虑和我此前讨论过的所有焦虑或压力表现一样，都是可以克服的。克服的第一步是培养以家人和「非AI圈」朋友为主的自然支持系统。
而关键的第二步，则是我们所有从事AI工作的人，都要开始并持续保持关于压力的坦诚对话。
因此，诚挚邀请你在社交媒体上分享自己的经历和感受。让我们携手努力，不仅将AI研究打造成一个充满活力和智力挑战的领域，更要使其成为一个充满同理心和善意的温暖家园。
AI大佬发长文缅怀
Contextual AI首席执行官Douwe Kiela发文表示，我真的很难过，我亲爱的朋友Felix Hill离开了我们。他在世界各地有很多朋友和同事。为了让更多人知道，他的家人希望我们分享这个网页，一起纪念他的一生：
EPFL教授，前DeepMind研究科学家Caglar Gulcehre表示，听到Felix离开我们的消息，真是令人心碎！
他回忆道，「我第一次见到Felix是在蒙特利尔读博二的时候。那时候，我正经历抑郁症，头两年的生活很难熬。我搬到一个新国家，再加上冰天雪地的天气，让我感到特别不适应。
Felix总是充满活力，乐观开朗。但有时候，你很难知道别人生活中正在经历什么。所以，对他人多一份理解，不要轻易下结论很重要。或许他们可能正经历着不为人知的困境。可惜的是，很多人仍然低估了心理健康的重要性。
寻求帮助并不是软弱的表现。刚到DeepMind工作的头两年，我的父亲突发心脏病，后来还失明了；我的姐姐也被诊断出癌症。那时候，我又搬到了另一个国家。如果不是寻求了专业帮助，我不知道自己该如何应对这一切。
无论何时需要帮助，都要勇敢去寻求。我很感激身边有许多支持我的人，在困难时期给予了我很大的帮助。如果心理状态不佳，很难在工作上取得成功。向Felix家人致以深切的慰问」。
DeepMind研究科学家Andrew Lampinen发文怀念其这位曾经指导过自己的导师——
Felix Hill是一位非常出色的导师——偶尔也是我的冬泳伙伴。我能加入DeepMind，以及形成如今做研究的方式，很大程度上都要归功于他。都过去一个月了，我还是觉得难以相信他已经离开了。
Felix在选择研究方向上有着超强的眼光，而且直觉特别准。每当遇到新想法，他总会表现出孩子般的热情和好奇心，还特别幽默，能够与他一起工作真的让人备受启发。
他也特别看重跟他共事的每个人。在我刚到DeepMind的时候，他和Jane Wang一起把一群超棒的人聚在了一起，比如Stephanie Chan、Aaditya Singh、Allison Tam，还有其他很多朋友和合作伙伴。
不过他也经历过一段艰难时期，尤其是最近这几年。我最后一次和他聊天是在他离世前大概一个月，那时他跟我分享了一个雄心勃勃又有点疯狂的项目想法，让我仿佛看到了他当年的影子。但那会儿我太忙了，一直没有再跟进，直到现在为时已晚，至今这件事让我特别后悔。
纽约大学计算机科学和数据科学教授Kyunghyun Cho更是写了一篇长文缅怀逝者——「再见了，Felix」。
文章地址：https://kyunghyuncho.me/bye-felix/
这段文字写于2024年12月9日，但当时我既不愿意也无法接受所发生的事实，所以一直没有勇气发布。即便到现在，每当想起这件事，我的心仍然隐隐作痛。我选择在2024年的最后一天发布这段文字，以此缅怀Felix。
时间回溯到2014年初夏。我当时在蒙特利尔大学担任Yoshua Bengio教授的博士后研究员，而Felix是一位刚刚抵达蒙特利尔的访问学生。
那时，我正在致力于开发一个能够处理长句子的神经机器翻译系统（Neural Machine Translation，NMT），为此我尝试了所有能想到的方法（注意力机制当时并不在其中，直到同年夏天Dima Bahdanau作为实习生来到蒙特利尔才有了突破）。
在这些探索性尝试中，我构思了使用门控卷积编码器（Gated Convolutional Encoder）来替代基于循环神经网络（RNN）的编码器。通过对门控机制施加适当的约束，我成功训练出了这个模型，并使其具备了一定的可解释性。
当Felix来到我的办公桌前，以语言学家和计算机科学家的身份做自我介绍时，我很兴奋地想要向他展示这个新模型所揭示的可解释结构。
于是我向他展示了：
Felix以极其笃定的语气对我说，「Kyunghyun，语法并不重要」。这大概是我听过非韩国人中最标准的名字发音。
那一刻我就预感到，Felix一定会成为我最好的朋友之一——事实证明，从那时起直到现在确实如此）。而他说的这句话，也在往后几年里频频出现在我的学术演讲slides中。
在我们共度的那些愉快时光中，除了进行深入却不失趣味的哲学探讨，我们也开展了一些研究合作。
除了共同发现的诸多有趣成果外，我们最具标志性的「贡献」反而是一个相当特别的现象：从2016年开始，我们无意中引领了一股持续3-5年的潮流，就是人人都仿佛着了魔似的要在论文中塞入一个装满海量数字的「超级大表格」（The Really Enormous Table）。
当时我们在写「Learning distributed representations of sentences from unlabelled data」这篇论文时，完全没想那么多，但最终还是放入了两个巨大的数据表格：
2018年初，Felix在ICLR的论文集中发现了好几篇包含「超级大表格」的论文，这让我们不禁哑然失笑。
即使在严谨的学术研究中，我们依然保持着这种愉快的合作方式。
时光飞逝，将近十年后，Felix作为2023年拉美人工智能会议Khipu的组织者之一，邀请我担任演讲嘉宾。他兴致勃勃地向我描绘我们将要进行的活动：观看足球比赛，游览布宜诺斯艾利斯等等。
然而，当我在2023年3月抵达蒙得维的亚参加Khipu时，却发现Felix并未到场。其他组织者告诉我，他因为健康问题无法前来。那时的我还不曾想到，这竟是我最后一次有机会与他相见。
Felix在2023年第二届Khipu上未领取的参会证件
2024年6月，经过漫长岁月，我终于有机会造访伦敦，便给Felix发消息约他共进午餐。尽管我清楚见面的可能性渺茫，但我真的非常期待能与他相聚、畅谈，一起消磨时光。
我们上次见面还是在疫情之前，之后就只能靠偶尔的远程视频联系。我也暗自期待能看到他康复的喜人变化。
几个月后（2024年8月），Felix回复了消息，并为迟复致歉，这实在让人心疼。他还附上了一张我们的合影（不是AI生成的，但是Felix「生成」的），唤起了我们上次在伦敦相聚的美好回忆。
左图：这是一张由Felix本人「生成」的与我的合影；右图：这是一张真实拍摄的Felix与我的合影
上周五，我收到了Douwe发来的WhatsApp消息。正是由于Felix在2014年的引荐，我才认识了Douwe，并与他建立了深厚的友谊。我立即尝试联系Felix，但不管是WhatsApp还是手机，都已经无法接通。
Felix，愿你现在已不再痛苦，在天国与母亲团聚。
