【LLM合集】Qwen2.5-Omni：像人类一样「看听想说」的全能助手来了！

1. Qwen2.5-Omni Technical Report

我们全新推出Qwen2.5-Omni，一个能同时理解文字、图片、声音和视频的"全能型"AI模型！它像人类一样，不仅能看图听声，还能边思考边生成自然流畅的文本和语音回答。

三大创新亮点：

1）同步感知：采用独特的"交错处理"技术，让视频画面和音频完美同步，配合创新的"时间对齐"算法，确保多模态信息精准配合。

2）双轨生成：独创"思考者-说话者"架构——

• 思考者：像超强大脑一样生成文字内容
• 说话者：根据思考结果直接生成自然语音 两者协同工作，避免图文声互相干扰，实现更自然的表达。

3）流畅输出：采用"滑动窗口"技术处理音频，就像实时剪辑视频一样，让语音生成既快速又保持高质量，显著降低等待时间。

性能优势： • 与同规模的Qwen2.5-VL性能相当 • 音频处理能力超越Qwen2-Audio • 在多模态测试中表现领先（如Omni-Bench基准测试）

Qwen2.5-Omni就像一位全能型AI助手，既能理解复杂多样的信息形式，又能像真人一样边思考边流畅输出，为智能交互带来全新体验！

论文: ​​https://arxiv.org/pdf/2503.20215​​

2. Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

传统机器人学习有个难题：它们虽然能看懂图像、听懂指令，但执行动作时总被"手脚不协调"困扰。现在，Dita来了！

核心突破Dita用一种全新的"多模态扩散"技术，让机器人能像人类一样灵活处理复杂动作。它不再依赖传统的"动作预测头"（容易卡壳），而是通过统一的AI流程直接生成连续动作序列，就像给机器人装上了"动态规划大脑"。

三大创新

1）精准同步：通过"上下文内条件化"技术，让机器人动作与视觉场景实时对齐。比如，看到杯子倾斜时，能立刻调整抓取角度。

2）超强适应力：兼容多种摄像头视角、任务类型和动作空间。无论是工厂机械臂还是家庭服务机器人，一套方案搞定。

3）轻量高效：仅需10次微调，就能让机器人适应新环境。比如用第三人称视角摄像头输入，就能让机器人学会新任务，无需大量数据重训。

实际表现

• 在模拟测试中性能达到顶尖水平
• 现实场景中，仅用普通摄像头就能完成复杂长期任务（如组装、清洁等）
• 开源架构，开发者可轻松定制专属机器人策略

为什么重要？Dita让机器人学习像搭积木一样简单：通过统一框架整合视觉、语言、动作，显著提升应对环境变化的能力。无论是工厂自动化、家庭服务，还是未来更复杂的场景，Dita都为机器人提供了更聪明的"行动大脑"。

论文: ​​https://arxiv.org/pdf/2503.19757​​

3. Wan: Open and Advanced Large-Scale Video Generative Models

我们推出Wan——一个强大且开放的视频生成模型套件，重新定义视频创作的边界！它基于前沿的扩散Transformer技术，通过四大创新实现突破：

核心优势

1）超强性能

• 搭载140亿参数的“超强大脑”，在数十亿图像和视频数据上训练，性能远超现有开源模型和商业方案。
• 在多个测试中表现优异，无论是生成质量还是多样性都领先行业。

2）全面覆盖

• 提供13亿参数（轻量高效）和140亿参数（极致效果）两种版本，满足不同需求。
• 支持八大任务，

包括：

• 文字生成视频
• 图片转视频
• 指令引导视频编辑
• 个性化视频创作

3）平民化效率

• 轻量版仅需8.19GB显存，轻松适配主流消费级显卡（如RTX 3090），普通人也能玩转AI视频生成！

4）完全开源

• 所有代码、模型和工具均免费开放（GitHub链接：Wan官方地址），助力开发者和创作者解锁无限可能！

论文: ​​https://arxiv.org/pdf/2503.20314​​

4. Open Deep Search: Democratizing Search with Open-source Reasoning Agents

你是否觉得闭源AI（如GPT-4o、Perplexity）的“搜索能力”遥不可及？现在，开放深度搜索（ODS） 让开源模型也能拥有“超强大脑”！

核心突破ODS通过两大创新，让开源AI的推理能力“秒变”闭源级：

1）智能推理助手

• 开发“推理Agent”，像人类一样理解任务需求，自动规划步骤（比如先搜索信息、再分析、最后回答）。
• 支持调用开放搜索工具（性能甚至超过闭源工具），精准获取网络信息。

2）性能大跃升

• 与开源模型（如DeepSeek-R1）结合后，准确率直追甚至超越闭源AI：✅ 在问答基准测试FRAMES中，比GPT-4o Search Preview高出9.7%！✅ 在SimpleQA测试中准确率达82.4%，接近人类水平。

三大优势

• 开源普惠：完全免费开源（GitHub可获取），让每个人都能用上“闭源级”搜索推理能力。
• 灵活适配：支持任何开源模型“一键升级”，小到13亿参数，大到百亿级模型都能用。
• 真实可靠：通过智能搜索验证信息，减少AI“一本正经地胡说八道”。

想让自己的AI模型“秒变”搜索超脑？点击获取开源框架👉 ODS官方地址

论文: ​​​https://arxiv.org/pdf/2503.20201​​

本文转载自​​AI-PaperDaily​​，作者：AI-PaperDaily