5 月 31 日消息,DeepMind、普林斯顿大学和斯坦福大学的研究人员近日提出了一项名为 LATM(LLMs As Tool Makers)的创新框架,该框架可以将像 GPT-4 这样的大型语言模型转变为工具制造者(IT之家注:即让模型自己生成软件工具来处理新任务)。
▲ 图源 Arxiv
LATM 的创新之处在于它为语言模型引入了工具制造和使用的概念,使得模型能够自主创建适用于不同任务的工具。这一框架不仅能够提高模型的灵活性和适应性,还能够为生成式 AI 提供更加高效和经济的解决方案。该框架主要包含以下两个关键部分:
- 工具制造:作为工具制造者,LLM 专门为特定任务设计软件工具,这些工具以 Python 函数的形式实现。
- 工具使用:另一个 LLM 作为工具使用者,可以调用这些软件工具来处理新的请求。
这种设计可以让 LATM 能够将任务分配给最适合的 LLM,将需要具备高强度算力才能实现的工具制造过程可以分配给功能强大、资源密集型的模型,例如 GPT-4;而将相对简单的使用工具过程分配给轻量级、经济高效的模型,例如 GPT-3.5。这种方法不仅增强了 LLM 解决问题的能力,而且可以显著降低处理一系列任务的平均计算成本,以最大程度提升框架效率。
▲ 图源 Arxiv
实验结果验证了 LATM 在复杂推理任务上的有效性。研究人员发现,LATM 能够达到与资源密集型模型相当的性能,并具有更高的成本效益。这一大型语言模型方法仿照了人类创造和使用工具的进化过程,可促进大型语言模型生成工具的发展。
研究人员认为,LATM 将为自然语言处理领域带来重大的突破,并在实际应用中发挥重要作用,这一创新可高效提升生成式 AI 的效率,以加速促进自然语言处理和人工智能领域的发展。
小伙伴们可以在这里找到论文信息。