斯坦福学者推出专为Android移动设备打造的大模型，开源！

Octopus-V2-2B是一个具有20亿参数的先进开源语言模型，代表着Nexa AI在大型语言模型（LLMs）在函数调用方面的研究突破，特别针对Android API进行了定制。与需要潜在函数参数的详细描述（有时需要多达数万个输入标记）的检索增强生成（RAG）方法不同，Octopus-V2-2B在其训练和推理阶段都引入了独特的功能token策略。这种方法不仅使其能够达到与GPT-4可比较的性能水平，而且还显著提高了其推理速度，超越了基于RAG的方法，使其在边缘计算设备上尤为有益。

📱 在设备上的应用：Octopus-V2-2B被设计成能够在Android设备上无缝运行，扩展了其在从Android系统管理到多设备编排等各种应用中的效用，展示了其适应性和在设备上集成的潜力。

🚀 推理速度：在基准测试中，章鱼-V2-2B展示了出色的推理速度，在单个A100 GPU上表现比“Llama7B + RAG解决方案”组合快出36倍。此外，与依赖于集群A100/H100 GPU的GPT-4-turbo（gpt-4-0125-preview）相比，Octopus-V2-2B快168%。这种效率归因于独特的功能token设计。

🐙 准确性：Octopus-V2-2B不仅在速度上表现出色，而且在准确性上也表现出色，其函数调用准确性超过了“Llama7B + RAG解决方案”31%。它实现了与GPT-4和RAG + GPT-3.5相媲美的函数调用准确性，在基准数据集上得分在98%至100%之间。

💪 函数调用能力：章鱼-V2-2B能够在各种复杂场景中生成单个、嵌套和并行函数调用。

使用示例

评测结果

论文：​​https://arxiv.org/pdf/2404.01744.pdf​​

模型地址：​​https://huggingface.co/NexaAIDev/Octopus-v2​​

译自（有删改）：https://huggingface.co/NexaAIDev/Octopus-v2

本文转载自公众号AIGC最前线 

原文链接：​​https://mp.weixin.qq.com/s/Xob5ILvaMF2_4f6_X94aqA​​