在过去,你必须自己训练模型,收集训练数据,但现在许多基础模型允许你在它们的基础上进行微调,以获得一个能够检测目标并与用户用自然语言互动的系统。有数百种模型和潜在应用场景,目标检测在这些场景中非常有用,尤其是随着小型语言模型的兴起,所以今天我们将尝试使用MLX上的Qwen2-VL-7B-Instruct-8bit。
我们将使用MLX-VLM,这是由Prince Canuma(Blaizzy)创建的一个包,他是一位热衷于开发和移植大型语言模型以兼容MLX的热情开发者,这个框架为我们用户抽象了很多代码,使我们能够用很少的代码行运行这些模型。现在让我们来看下面的代码片段。你会发现它非常简单。首先,你可以从Hugging Face定义模型,框架将下载所有相关组件。这个过程非常简单,因为这个库还提供了多个实用工具(apply_chat_template),可以将OpenAI的标准提示模板转换为小型VLMs所需的模板。
这里的一个重要注意事项是在编写代码时,这个库中的系统角色出现了一些问题,但未来很可能可以添加。但在本例中,我们在一个用户消息中传递任务和响应格式,基本上我们将要求模型识别所有对象并返回一个坐标列表,其中第一个顶部将是边界框的最小x/y坐标,后者将是最大坐标。同时,我们包括了对象名称,并要求模型以JSON对象的形式返回:
运行前面的代码后,你将收到一个JSON响应,正确识别了两辆卡车:
鉴于我们有了对象名称和边界框坐标,我们可以编写一个函数将这些结果绘制在图像上。代码如下:
绘制结果如下:
总结
VLMs正在快速发展。两年前,还没有能够适应MacBook并表现如此出色的模型。我个人的猜测是,这些模型将继续发展,最终达到像YOLO这样的模型的能力。还有很长的路要走,但正如你在这篇文章中看到的,设置这个演示非常容易。在边缘设备上开发这种应用的潜力是无限的,我相信它们将在采矿、石油和天然气、基础设施和监控等行业产生重大影响。最好的部分是我们甚至还没有讨论微调、RAG或提示工程,这只是模型能力的展示。