微软 Phi-4 多模态及迷你模型上线,语音视觉文本全能

人工智能
微软进一步扩展 Phi-4 家族,推出了两款全新模型:Phi-4 多模态(Phi-4-multimodal)和 Phi-4 迷你(Phi-4-mini)。

2 月 27 日消息,微软于 2024 年 12 月发布了 Phi-4,这是一款在同类产品中表现卓越的小型语言模型(SLM)。今日,微软进一步扩展 Phi-4 家族,推出了两款全新模型:Phi-4 多模态(Phi-4-multimodal)和 Phi-4 迷你(Phi-4-mini)。

Phi-4 多模态模型是微软首款集成语音、视觉和文本处理的统一架构多模态语言模型,参数量达 56 亿。在多项基准测试中,Phi-4 多模态的表现优于其他现有的先进全模态模型,例如谷歌的 Gemini 2.0 Flash 和 Gemini 2.0 Flash Lite。

在语音相关任务中,Phi-4 多模态在自动语音识别(ASR)和语音翻译(ST)方面超越了 WhisperV3 和 SeamlessM4T-v2-Large 等专业语音模型。微软表示,该模型在 Hugging Face OpenASR 排行榜上以 6.14% 的词错误率位居榜首。

在视觉相关任务中,Phi-4 多模态在数学和科学推理方面表现出色。在文档理解、图表理解、光学字符识别(OCR)和视觉科学推理等常见多模态能力方面,该模型与 Gemini-2-Flash-lite-preview 和 Claude-3.5-Sonnet 等流行模型相媲美甚至超越。

IT之家注意到,Phi-4 迷你模型则专注于文本任务,参数量为 38 亿。其在文本推理、数学计算、编程、指令遵循和函数调用等任务中表现优异,超越了多款流行的大型语言模型。

为确保新模型的安全性和可靠性,微软邀请了内部和外部安全专家进行测试,并采用了微软人工智能红队(AIRT)制定的策略。经过进一步优化后,Phi-4 迷你和 Phi-4 多模态模型均可通过 ONNX Runtime 部署到设备端,实现跨平台使用,适用于低成本和低延迟场景。

目前,Phi-4 多模态和 Phi-4 迷你模型已在 Azure AI Foundry、Hugging Face 和 NVIDIA API 目录中上线,供开发者使用。

Phi-4 系列新模型的推出,标志着高效 AI 技术的重大进步,为各类人工智能应用带来了强大的多模态和文本处理能力。

责任编辑:庞桂玉 来源: IT之家
相关推荐

2024-11-13 09:39:13

2024-08-21 17:09:28

2024-05-17 16:02:00

2024-12-23 09:38:00

2025-01-08 08:21:16

2023-12-27 14:09:00

2024-07-23 10:34:57

2024-08-08 13:04:28

2024-05-15 17:34:15

2024-12-12 00:25:09

2024-12-13 13:04:13

模型Phi-4AI

2024-12-18 18:57:58

2024-08-30 15:19:22

2024-06-27 13:10:21

2022-07-28 12:18:40

视觉语言模型

2024-06-25 12:47:06

2023-11-14 11:40:00

OpenAI人工智能

2024-11-22 14:27:00

点赞
收藏

51CTO技术栈公众号