Mistral多模态大模型来了!120亿参数,原生支持任意大小/数量图像,公司估值已达420亿

人工智能 新闻
虽然目前模型的训练数据、细节都未公开,但是通过模型代码网友们发现了更多细节。

Mistral的多模态大模型来了!

Pixtral 12B正式发布,同时具备语言和视觉处理能力。

图片

它建立在文本模型Nemo 12B基础上,包含一个专门的视觉编码器。

大概24GB,原生支持任意数量和尺寸的图像,大约有40层神经网络、14,336 个隐藏维度大小和32个注意力头,以及一个专用的视觉编码器,支持高分辨率图像(1024×1024)处理。

发布形式还是简单直接一个种子链接。

图片

现在可以通过链接、GitHub或Hugging Face下载模型。

Mistral的开发主管表示,后续也会在Chatbot上接入模型,并提供API服务。

图片

超越Qwen、LLaVA等

虽然目前模型的训练数据、细节都未公开,但是通过模型代码网友们发现了更多细节。

1、先进架构:40层网络、14336隐藏维度大小、32个注意力头。

2、视觉能力:专用视觉编码器,支持1024x1024图像大小和24个隐藏层,用于高级图像处理。

3、更大词汇量:131072tokens,支持更细致语言理解和 生成。

4、使用GeLU(用于视觉适配器)和2D RoPE(用于视觉编码器)。

5、Patch大小:16×16像素。

6、在mistral_common中支持tokenizer。

7、模型权重bf16。

图片

与此同时,还有人在放出了Mistral发布会上公布的模型基准情况。

图片

Pixtral 12B和Qwen2-VL-7B、LLaVA-OV-7B、Phi-3 Vision做了对比。

多模态知识和推理、QA等方面都表现不错。

图片

欧洲版OpenAI估值达60亿美元

最近几个月Mistral的动作还是非常密集的。

今年6月,他们通过股权债务融资完成约6.4亿美元B轮融资。估值已达60亿美元(折合人民币约420亿)。

完成融资后,他们便发布了Mistral Large 2旗舰模型、SMoE模型Mistral 8×22B以及开源模型Codestral等。

目前,微软、AWS、Snowflake等巨头均投资Mistral。尤其是微软的入股,使得Mistral成为OpenAI以外,微软Azure第二个商业闭源模型供应商。这也进一步夯实了Mistral“欧洲版OpenAI”的地位。

责任编辑:张燕妮 来源: 量子位
相关推荐

2023-03-10 13:56:42

ChatGPT

2015-08-03 09:19:23

2021-04-13 10:04:43

微软收购Nuance

2023-03-01 13:49:20

模型AI

2013-08-23 13:31:43

雷军小米

2014-02-21 14:23:26

WhatsApp通信facebook

2023-04-23 10:28:01

2023-12-01 13:36:01

阿里云通义千问

2012-06-27 09:33:15

小米融资

2022-07-20 16:36:02

模型AI

2009-06-23 09:14:35

2024-03-15 12:49:11

AI模型

2020-05-22 23:29:09

阿里云财报阿里巴巴

2019-05-05 12:50:02

UiPathRPA人工智能

2024-03-25 12:40:19

训练模型

2023-10-19 13:44:00

数据训练

2023-04-21 10:14:22

开源AI

2023-12-01 12:31:22

AI模型

2024-09-14 12:49:14

2024-09-05 12:57:08

点赞
收藏

51CTO技术栈公众号