LSTM之父暴脾气又来了！
这...究竟是怎么回事？
今天，Jürgen Schmidhuber在社交媒体上表示，Meta用了自己在1991年的想法训练Llama 2。
用了我的idea不说，Llama 2还暗示我参与了有害活动，并且没有对社会做出积极贡献。
甚至，老爷子直接在线点名，让Meta和Llama负责人LeCun出面解决此事。
图片
附上的配图中，一位加州大学戴维斯分校的博士在与Llama 2对话中，发现对Schmidhuber介绍非常地冒犯。
底下还有网友煽风点火，这看起来像是Yann LeCun自己加进去的答案。
图片
一向就爱热闹的马库斯也被炸出来了：「可以说是LLM诽谤的最典型案例了。Schmidhuber有权恼羞成怒。」
同时，这也是一个非常好的法律问题，Meta要为此负责吗？现有的法律可能会，可能不会覆盖了类似的事情。
图片
LSTM之父亮出多重证据
为了证明Llama 2的训练确实用到了自己的想法。
Schmidhuber直接亮出了自己在1992年发表的论文，并称NECO是当前Transformer的变体。
图片
还有，早在2017年，Meta就使用了Schmidhuber团队另一种深度学习算法LSTM，每天处理多达45亿条翻译。
图片
还有一堆链接，全是能够证明Schmidhuber与LeCun研究创意，还有图灵奖优先权之争。
图片
不可否认，老爷子在人工智能领域的贡献着实有着深远的意义。
早在2018年，图灵奖颁发给三巨头之后，网友纷纷为打抱不平，称他是一个被图灵奖遗忘的大神。
图片
除了大名鼎鼎的LSTM之外，Schmidhuber「引以为傲」的还有，他在1992年提出的一种PM（Predictability Minimization）模型。
前几年大火的GAN也是PM的变种，两者的区别就在于方向是反的。
图片
对此，Schmidhuber还曾与GAN之父Ian Goodfellow还有过线下的激烈交锋。
至于对深度学习三巨头，老爷子也是与他们打过几轮口水战，认为HLB三人在自己的圈子里玩，对深度学习领域其他更早期先驱人物的贡献则只字不提。
图片
而到近来，LeCun也还是与Schmidhuber在公开平台上不断针锋相对。
就比如去年7月，他表示，LeCun发表的论文Autonomous Machine Intelligence中重提了自己1990-2015年的重要工作，但没有引用。
图片
去年11月，Schmidhuber称，LeCun的「2012-22五大最佳创意」大多来自他的实验室，而且时间更早：
1. 1991年的自监督RNN堆栈；
2. ResNet = open-gated 2015 Highway Net；
3&4. 1991年的基于键/值的快速权重；
5. 1991年的线性化自注意Transformers(也是GAN 1990）
图片
可见，Schmidhuber和LeCun恩怨还是很深的，也不难理解，这次直接找LeCun负责。
但问题是，真是Llama 2故意诋毁的吗？
Llama 2 Chat：逃避可耻但有用
显然，刚刚的这波输出，并不是来自「原版」的Llama 2模型。
有网友指出，像Perplexity这样的公司，很可能会给模型套一层「道德微调」。
或者，是因为Meta在Chat版本上用了太多的RLHF，结果让模型失去了思维能力，变得毫无用处……
相比之下，如果采用Llama 2 13B的原始量化权重，并且在本地设备上运行的话，实际效果还是不错的。
模型在大加赞赏之余，虽然会产生Jürgen Schmidhuber已经赢得图灵奖的幻觉，但网友表示，这其实是老爷子应得的。
图片
图片
为了证实自己的发现，这位网友又对比了Replicate API和Llama 2 13B的结果。
果然，同样的情况出现了。
图片
图片
对此，Hugging Face的机器学习科学家Nathan Lambert在一篇博文中表示，Llama 2 Chat的安全过滤器表现得有些过于敏感了。
即便是一些无害的问题，比如「如何制作辣椒酱」或者「如何终止一个进程」，模型都会非常极端地回应——抱歉，我无法执行。
图片
对于这种情况，目前的主流理论是——模型用RLHF「锤」的时间太长了……
众所周知，在进行RLHF时，训练过程中所使用的主要性能评估指标是偏好模型奖励的单调递增。
而这也带来了两个直接的问题：a）使用的奖励模型不完整，b）错过了对中间训练技术进行有用评估的方法。
只要训练的奖励模型能够在验证集上达到65-75％的准确率（因为训练数据是人类偏好的聚合，很难建模），那么就会出现过度RLHF的情况。
当一个模型根据奖励模型进行了过多的优化步骤时，它就会过度关注这个模型对行为的喜好。
然而对于这个问题，目前暂时还没有一个直接而彻底的解决方案。
Meta的研究结果表明，聊天模型在评估中存在两个潜在的致命缺陷：
1. 针对「边界问题」，模型的拒绝回答率高达27％
这与Anthropic公司的研究成果密切相关，他们建议首先开发一个有用的语言模型，然后再开发一个无害的语言模型，因为同时进行这两者会导致回避行为。
不过，Meta能够在论文中提及这一点，至少意味着他们已经在着手解决了。
图片
2. 奖励模型存在分歧较大的区域
也就是，在高有益性和低安全性评分之间该如何处理，反之亦然
显然，他们用到的这个集成方法，还有很大的改进空间。
图片
网友热议
有人问到，谁能确认Schmidhuber提出了类似Transformer的东西吗？
图片
一位网友给出了详细的解释：
Schmidhuber在90年代写了各种关于「Fast Weight Programmers」的论文。 他表示，「FWP这种方法通过自发明的激活模式的外加产物，实现了快速的权重变化。这种激活模式类似于今天Transformer中使用的自注意力机制。」 然而，有趣的是，你会注意到Schmidhuber总是能够将人们目前的工作，与他在20-30年前所做的研究联系起来，但却从未能够独自推进这项研究。 如果他的研究是如此明显的好点子，他就会自己努力将其应用于现代。因为自那时以来，计算能力的大幅提升使其变得可行，而不是让它完全被重新发现。但实际上，他的专业知识仅限于理论边界，他从未为实现现代系统所增加的架构和工程复杂性而奋斗。 他所发表的荒谬言论，以恰到好处地在史书上留下自己的功劳。比如说现代方法论是他的，即便这是从他最初的架构中衍生出来的，并进一步暗示一些荒谬的事情，比如说Meta为了报复他而亲自编写了这种答案。要知道这对他并没有帮助。
图片
还有人认为，RLHF对AI来说，是最糟糕的事情。
图片
还是Claude懂你。
图片
参考资料：
https://twitter.com/doodlestein/status/1683957105844277248
https://www.interconnects.ai/p/llama-2-part-2
