AI.x社区

大型语言模型(LLM)已在各种软件工程和编码任务中展现出卓越的能力。然而，它们在代码和编译器优化领域的应用仍未得到充分探索。训练LLM需要大量资源，需要大量的GPU时间和大量的数据收集。Meta语言模型编译器(LLMCompiler)，这是一套专为代码优化任务设计的强大、公开可用的预训练模型。LLMCompiler建立在CodeLlama的基础上，增强了对编译器中间表示(IR)、汇编语言和优化技术的理解。该模型已在546B的LVMIR和汇编代码的庞大语料...

稀疏自动编码器（SAE）最近因机器学习模型的可解释性而变得流行（尽管SAE自1997年以来一直存在）。机器学习模型正在使LLMs变得越来越强大和有用，但它们仍然是黑匣子，如何看穿LLM的灵魂，且若能理解它们是如何工作的，那对于大模型的进化有足够的帮助和启示意义。使用SAE，可以开始将模型的计算分解为可理解的组件。本文将简介的介绍下SAE的工作原理，然后读者可以回头去温习“大模型的灵魂解读：AnthropicAI的Claude3Sonnet可...