大模型版生命游戏来了。
ALife,即人工生命,旨在通过人工手段研究生命和类生命过程。程序员们深深着迷的康威生命游戏,就属于这一研究领域。
现在,来自Transformer作者之一Llion Jones创办的Sakana AI,以及MIT、OpenAI等研究机构的联合团队,基于大模型提出了一种新的ALife研究范式——
ASAL,人工生命自动搜索。
也就是利用多模态大模型来指导ALife模拟。
研究人员发现,在包括康威生命游戏在内的各种ALife基础方法上,ASAL都行之有效,还挖掘出了以前从未被发现的新生命形式。
并且,ASAL像康威生命游戏一样,展现出了开放式进化的特点。
利用大模型自动搜索人工生命
ALife主要通过计算模拟来研究生命,核心是搜索并绘制出整个可能的模拟空间。
而此项研究的主要目的,就是利用大模型,实现生命模拟中的搜索自动化。
研究人员首先定义一组感兴趣的模拟形式,称为基质(substrate)。然后,让ASAL通过三种方法来发现人工生命形式。
三种方法分别对应ALife研究中的三个重要目标:
- 复现特定生命现象
- 实现开放式进化
- 探索生命可能性空间
有监督目标搜索
其一,有监督目标搜索,目标是找到能够产生指定目标现象或事件序列的模拟。
具体的方法是,给定一系列描述目标状态的文本提示(Prompt),最大化模拟生成图像在不同时间步上,与相应提示词的匹配度。
用公式表示就是:
其中θ表示模拟参数,表示运行模拟T步后的渲染图像,和分别表示将图像和文本映射到基础模型表示空间的函数。
开放式搜索
其二,开放式搜索,目标是找到能够持续产生新行为的开放式模拟。
这对于ALife而言是非常重要的:开放性对于新事物的爆发是必要的。
研究人员采用的方法是,最大化模拟产生的图像,在基础模型表示空间中,相对于历史状态的新颖度。
照明式搜索
最后是照明式搜索,目标是找到一组展现出多样行为的模拟。
方法是,最大化一组模拟在基础模型表示空间中的覆盖度,即最小化每个模拟与其最近邻的距离。
实验结果
为了验证ASAL的有效性,研究人员在过个经典ALife环境中进行了实验,包括鸟群算法(Boids)、粒子生命模拟、类生命元胞自动机、Lenia(将康威生命游戏推广到连续空间)和神经元胞自动机(NCA)等。
采用的基础模型包括CLIP和DINOv2。
结果显示,在Lenia、Boids和粒子生命模拟等环境中,给定不同的目标文本提示,ASAL都能搜索到与之匹配的模拟。
并且不仅仅是在单个目标上,在对事件序列的模拟中,ASAL同样有效。
开放性方面,研究人员使用类生命元胞自动机(Life-Like CA)为“基质”,CLIP为基础模型,对ASAL进行了验证。
结果显示,ASAL找到了一些展现出与康威生命游戏相似的开放性行为的规则。
这些自动机能够持续产生新模式,在基础模型空间中形成发散的轨迹。
另外,在Lenia和Boids环境中,ASAL使用照明式搜索发现了具备丰富多样行为的模拟,并发现了许多前所未见的生命形式。
研究人员还提到,利用基础模型的语义表示,对于此前只能定性分析的现象,ASAL实现了新的突破:可以对一些人工生命现象进行定量分析。
最后,简单总结一下就是,ALife旨在重现自然进化,而这项新研究,突破了人工设计模拟的瓶颈,加速了ALife发现。
此前打造了首位“AI科学家”的Sakana AI在公布这项研究时,还划了个重点:
这加快了我们对涌现、进化和智能的理解,其中的核心原理可以激发下一代AI系统!
项目主页:https://pub.sakana.ai/asal/。