使用Unsloth微调与运行Gemma 3，速度提升1.6倍，VRAM使用减少60%

Gemma 3是谷歌新推出的最先进多模态（文本+图像）模型，有1B、4B、12B和27B四种规模。现已在Unsloth支持，Gemma 3拥有128K上下文窗口和多语言支持。

（1）使用Unsloth的Colab笔记本微调Gemma 3。Unsloth修复了一些Gemma 3训练问题。

（2）Unsloth使Gemma 3（12B）微调速度提升1.6倍，VRAM使用减少60%，在48GB GPU上比使用Flash Attention 2的环境能处理6倍更长的内容。

（3）Unsloth在Hugging Face这里上传了所有版本的Gemma 3，包括2-8位GGUF、动态4位和16位版本。还修复了之前Unsloth的GGUF不支持视觉功能的问题。

（4）阅读Unsloth的指南，了解如何正确运行Gemma 3。

Unsloth现在还支持一切功能*，包括：完全微调、8位训练、预训练、所有transformer风格模型（Mixtral、MOE、Cohere等）以及任何训练算法，如与VLM一起使用的GRPO。

获取最新稳定版Unsloth：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo
1.

Gemma 3微调

Unsloth在Gemma 3（1B到27B）微调过程中还遇到了许多无限梯度问题。Unsloth发现float16混合精度（Tesla T4，RTX 2080系列）工作不佳，因此默认使用float32精度。Float16在A100上也失败，所以这是一个与硬件无关的问题。不过bfloat16运行良好！Unsloth会自动选择最佳数据类型！您不需要做任何事情！

使用Unsloth，Gemma 3（27B）微调所需VRAM不到22GB！速度也提升了1.6倍，默认使用Unsloth 动态4位量化以获得更高精度！您还可以直接使用Gemma 3与Unsloth的GRPO训练自己的推理模型。

尝试在Unsloth免费的Google Colab笔记本中用Unsloth微调Gemma 3（4B）。要查看Unsloth所有的笔记本和模型上传，请访问Unsloth的文档。

Unsloth还在与Hugging Face合作开发R1推理课程 - Gemma 3 GRPO笔记本将在下周初发布。

性能基准测试

Unsloth使用Alpaca数据集进行测试，批量大小为2，梯度累积步骤为4，rank = 32，并在所有线性层（q, k, v, o, gate, up, down）应用QLoRA。

Blog地址：​​https://unsloth.ai/blog/gemma3​​

GitHub地址: ​​https://github.com/unslothai/unsloth​​    

Colab地址：​​​https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb​​

本文转载自​​AI帝国​​，作者：无影寺