CVPR2025 | MobileMamba:轻量级Mamba网络新突破,兼顾多感受野、高效推理与超强精度

网络 网络管理
MobileMamba 提出了一种轻量级多感受野视觉 Mamba 网络,通过三阶段网络设计和 MRFFI(Multi-Receptive Field Feature Interaction) 模块,在提升模型推理速度的同时,实现更高精度,超越现有 CNN、ViT 和 Mamba 结构。

1. 一眼概览

MobileMamba 提出了一种轻量级多感受野视觉 Mamba 网络,通过三阶段网络设计和 MRFFI(Multi-Receptive Field Feature Interaction) 模块,在提升模型推理速度的同时,实现更高精度,超越现有 CNN、ViT 和 Mamba 结构。

2. 核心问题

当前轻量级视觉模型主要基于 CNN 和 Transformer:

• CNN 局部感受野限制了全局建模能力。

• Transformer 具备全局感受野,但高分辨率下计算复杂度高(O(N²))。

• 现有 Mamba 轻量级模型虽然 FLOPs 低,但推理速度较慢

MobileMamba 旨在:

• 优化 Mamba 的推理速度,在保证低 FLOPs 的情况下提高吞吐量。

• 增强多尺度感受野交互,兼顾长短距离特征捕获和高频细节提取。

• 适应高分辨率任务,在分类、目标检测、语义分割等任务上提升表现。

3. 技术亮点

1. 三阶段网络设计

• 通过权衡四阶段和三阶段网络,选用三阶段架构,在相同吞吐量下提升精度,或在相同精度下提升吞吐量

2. MRFFI(多感受野特征交互)模块

• WTE-Mamba(长程小波变换增强 Mamba):结合全局建模与高频边缘信息提取。

• MK-DeConv(多核深度卷积):提取不同尺度信息,增强局部感受野。

• 消除冗余身份映射(Eliminate Redundant Identity):减少通道冗余,提高计算效率。

3. 训练 & 测试策略优化

• 知识蒸馏(Knowledge Distillation) 提高轻量级模型的学习能力。

• 扩展训练轮次(Extended Training Epochs) 进一步提升精度上限。

• 归一化层融合(Normalization Layer Fusion) 在测试时加速推理。

4. 方法框架

图片图片

MobileMamba 通过以下核心步骤优化推理和特征提取:

1. 多感受野特征交互(MRFFI)

• 通过 WTE-Mamba 进行长程信息提取,同时结合小波变换增强高频特征。

• MK-DeConv 采用不同大小的卷积核进行局部信息交互,提高多尺度感知能力。

• 通过 消除冗余身份映射 降低计算成本,提高推理速度。

2. 轻量级 Mamba 结构

  • • 采用三阶段设计,减少计算量,提高吞吐量。

  • • 结合 多方向扫描和低秩状态空间映射,提升计算效率。

3. 优化训练与推理

  • • 知识蒸馏:从更强的教师模型学习,提高小模型性能。

  • • 延长训练轮数:实验发现 300 轮未完全收敛,延长到 1000 轮可提升准确率。

  • • 归一化层融合:在推理时减少计算冗余,提高计算效率。

5. 实验结果速览

图片图片

MobileMamba 在多个基准测试中展现了优越性能:

✅ ImageNet-1K 分类

• MobileMamba-B4 83.6% Top-1,比 EfficientVMamba 提升 +1.8%,且推理速度提升 ×3.5 倍

✅ 目标检测(COCO)

• Mask R-CNN:相比 EMO 提升 mAP +1.3↑,吞吐量 +57%↑

• RetinaNet:比 EfficientVMamba 提升 mAP +2.1↑,推理速度提升 ×4.3 倍

✅ 语义分割(ADE20K)

• Semantic FPN:比 EdgeViT 提升 mIoU +1.1↑,FLOPs 仅为其 20%

• PSPNet:比 MobileViTv2 提升 mIoU +0.4↑,FLOPs 仅 11%

6. 实用价值与应用

• 边缘设备视觉计算:适用于智能手机、嵌入式设备、物联网(IoT)等资源受限场景。

• 自动驾驶与监控:在高分辨率场景下提供高效视觉计算,适用于目标检测、分割任务。

• 医疗影像分析:通过多感受野特性,提取关键医学影像特征,提高诊断效率

7. 开放问题

MobileMamba 的多感受野特征交互策略是否适用于其他任务,如视频理解或 3D 视觉?

 如何进一步优化 MobileMamba 以提升 CPU/移动端推理速度?

能否结合 LoRA 或其他参数高效微调方法,提升 MobileMamba 在特定任务上的适应性?

责任编辑:武晓燕 来源: 萍哥学AI
相关推荐

2023-10-07 08:12:05

DAMO-YOLO算法

2023-04-26 08:24:46

DAMO-YOLO算法

2012-08-10 14:59:01

代码

2023-08-15 14:14:26

研究计算

2013-04-27 19:22:54

Ubuntu 13.0Lunbuntu 13

2019-05-07 14:42:03

深度学习编程人工智能

2025-02-28 10:05:00

AI生成

2009-07-17 14:38:51

轻量级Swing组件

2009-07-14 18:05:28

轻量级Swing组件

2009-08-21 15:16:15

2016-01-13 10:23:51

2024-09-23 08:20:00

模型训练

2020-04-10 14:10:50

人脸识别人工智能华为

2024-01-22 12:48:00

数据模型

2009-09-11 08:26:49

Linux系统CRUX 2.6Linux

2023-08-09 08:01:38

场景Redis接口

2023-09-27 00:12:23

2016-10-14 16:35:39

2010-09-09 13:12:29

XML DOM
点赞
收藏

51CTO技术栈公众号