10月17日消息，据外媒报道，AI初创公司Mistral AI日前推出了两款新的AI大模型，Ministral 3B和8B，由于它们的体积较小，因此设计用于设备上和边缘计算。
该公司将这个新模型家族命名为“les Ministraux”，因为它们在不到100亿参数类别中的评级，可以在智能手机、平板电脑和物联网设备等平台上运行。Mistral表示，这些新的前沿模型可以针对常见用例进行微调，包括专业任务，并通过函数调用功能作为AI代理工作。
该公司表示，客户和合作伙伴越来越多地要求“本地化、隐私优先的推断，用于关键应用，如设备上的翻译、无需互联网的智能助手、本地分析和自主机器人”。Les Ministraux旨在为这些场景提供高效计算和低延迟的解决方案。
这些较小的AI模型可以用作较大模型，如Mistral Large的调节器，作为多步骤工作流程中的中介，处理输入解析、任务路由和应用调用以降低成本。
据悉，这两个模型支持高达128,000个令牌的上下文长度，这使它们在数据输入量方面与OpenAI的GPT-4 Turbo保持一致。Ministral 8B还配备了一种特殊的“滑动窗口注意力模式”，能够实现更快、更节省内存的部署。
Ministral 3B和8B的发布是在Mistral 7B发布一年后，Mistral 7B是该公司宣称在模型架构方面取得重大进步的一个LLM。8B和3B指的是两个模型中的参数数量，分别是80亿和30亿，公司表示最小的模型，Ministral 3B，在大多数基准测试中已经超越了Mistral 7B。
根据基准测试，预训练的Ministral 3B在多任务语言理解评估中超过了谷歌公司的Gemma 2 2B和Meta的Llama 3.2 3B模型，得分分别为60.9对比52.4和56.2。Ministral 8B也以65.0分的成绩超过了Llama 8B的64.7分。
