离职谷歌的Transformer作者创业，连发3个模型（附技术报告）-51CTO.COM

去年 8 月，两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI，总部位于日本东京。其中，Llion Jones 是谷歌 2017 年经典研究论文《Attention is all you need》的第五作者，该论文提出了深度学习架构 transformer。transformer 对整个机器学习领域产生了重要影响，并且是 ChatGPT 等生成式 AI 模型的基础。

论文于 2017 年 6 月首次发表后，随着全球对生成人工智能人才竞争不断升温，论文作者陆续离开谷歌，自立门户创业。Llion Jones 是八位作者中最后一个退出谷歌的人。

David Ha、Llion Jones 成立的初创公司 Sakana AI 致力于构建生成式 AI 模型。最近，Sakana AI 宣布推出一种通用方法 ——Evolutionary Model Merge。该方法使用进化算法来有效地发现组合不同开源模型的最佳方法，这些开源模型具有不同功能。Evolutionary Model Merge 方法能够自动创建具有用户指定功能的新基础模型。

为了测试其方法的有效性，研究团队用 Evolutionary Model Merge 方法演化出能够进行数学推理的日语大语言模型（LLM）和日语视觉语言模型（VLM）。实验结果表明这两个模型在没有经过明确优化的情况下，在多个 LLM 和视觉基准上都取得了 SOTA 结果。

特别是，其中进行数学推理的日语 LLM 是一个 7B 参数模型，它在大量日语 LLM 基准上取得了顶级性能，甚至超过了一些 SOTA 70B 参数 LLM。

最终，研究团队应用 Evolutionary Model Merge 方法演化出 3 个强大的基础模型：

1. 大语言模型（EvoLLM-JP）

2. 视觉语言模型（EvoVLM-JP）

3. 图像生成模型（EvoSDXL-JP）

值得注意的是，Evolutionary Model Merge 方法能够自动生成新的基础模型，而不需要任何基于梯度的训练，因此需要相对较少的计算资源。

Sakana AI 团队认为：受自然选择启发的进化算法可以解锁有效的开源方法合并解决方案，以探索广阔的可能性空间，发现传统方法和人类直觉可能错过的新颖且不直观的组合。

技术详解

技术报告介绍了 Evolutionary Model Merge 这种通用进化方法。

报告地址：https://arxiv.org/pdf/2403.13187.pdf

本文的目标是创建一个统一的框架，能够从选定的基础模型中自动生成合并模型，以确保该合并模型的性能超过集合中任何个体的性能，方法的核心是进化算法。研究者首先将合并过程剖析成两个不同的、正交的配置空间，并分析它们各自的影响。基于此分析，他们随后引入了一个无缝集成这些空间的内聚框架。图 1 为示意图。

Evolutionary Model Merge 结合了：（1）合并数据流空间（Data Flow Space）中的模型，以及（2）合并参数空间（权重）中的模型。

数据流空间：是通过进化来发现不同模型各层的最佳组合以形成新模型。

参数空间：第二种方法是开发混合多个模型权重的新方法，混合不同模型的权重以形成新的模型。

数据流空间和参数空间这两种方法也可以结合在一起来开发新的基础模型

该研究希望通过进化的方法来帮助找到更好的模型合并方法，通过实验，研究者证明了该方法能够创建具有以前不存在的、新的、具有新兴组合功能的新模型。实验中，研究者使用这种自动化方法生成了两个新模型：一个日语数学 LLM 和一个支持日语的 VLM，它们都是使用这种方法演化而来的。

具有 SOTA 性能的基础模型

该研究提出了三种模型：大型语言模型（EvoLLM-JP）、视觉语言模型（EvoVLM-JP）以及图像生成模型（EvoSDXL-JP）。

EvoLLM-JP

EvoLLM-JP 是一个可以用日语解决数学问题的 LLM。为了构建这样的模型，该研究使用进化算法来合并日语 LLM（Shisa-Gamma）和特定于数学的 LLM（WizardMath 和 Abel）。

实验过程中，研究者允许模型不断的进化迭代，最终模型采用的是在 100-150 次的进化中表现最好的模型。研究者在 MGSM 数据集上进行了评估，以下是评估结果：该表格比较了不同 LLM 用日语解决数学问题的表现，MGSM-JA 列显示正确答案的百分比。模型 1-3 为原始模型，模型 4-6 为优化后的合并模型。模型 7-10 是用于比较的 LLM 得分。