机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
发展
如今,中国正成为世界机器视觉发展最活跃的地区之一,应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。其重要原因是中国已经成为全球制造业的加工中心,高要求的零部件加工及其相应的先进生产线,使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。
经历过长期的蛰伏,2010年中国机器视觉市场迎来了爆发式增长。数据显示当年,中国机器视觉市场规模达到8.3亿元,同比增长48.2%,其中智能相机、软件、光源和板卡的增长幅度都达到了50%,工业相机和镜头也保持了40%以上的增幅,皆为2007年以来的最高水平。
工作原理
机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号,图像处理系统对这些信号进行各种运算来抽取目标的特征,如面积、数量、位置、长度,再根据预设的允许度和其他条件输出结果,包括尺寸、角度、个数、合格 / 不合格、有 / 无等,实现自动识别功能。
概述
机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。
典型结构
一个典型的机器视觉系统包括以下五大块:
照明
照明是影响机器视觉系统输入的重要因素,它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备,所以针对每个特定的应用实例,要选择相应的照明装置,以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白炽灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定,是实用化过程中急需要解决的问题。另一方面,环境光有可能影响图像的质量,所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为:背向照明、前向照明、结构光和频闪光照明等。其中,背向照明是被测物放在光源和摄像机之间,它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧,这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上,根据它们产生的畸变,解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上,摄像机拍摄要求与光源同步。
镜头
FOV(Field of Vision)=所需分辨率*亚象素*相机尺寸/PRTM(零件测量公差比)
镜头选择应注意:
①焦距②目标高度 ③影像高度 ④放大倍数 ⑤影像至目标的距离 ⑥中心点 /节点⑦畸变
视觉检测中如何确定镜头的焦距
为特定的应用场合选择合适的工业镜头时必须考虑以下因素:
- 视野 - 被成像区域的大小。
- 工作距离 (WD) - 摄像机镜头与被观察物体或区域之间的距离。
- CCD - 摄像机成像传感器装置的尺寸。
- 这些因素必须采取一致的方式对待。如果在测量物体的宽度,则需要使用水平方向的 CCD 规格,等等。如果以英寸为单位进行测量,则以英尺进行计算,最后再转换为毫米。
参考如下例子:有一台 1/3” C 型安装的 CCD 摄像机(水平方向为 4.8 毫米)。物体到镜头前部的距离为 12”(305 毫米)。视野或物体的尺寸为2.5”(64 毫米)。换算系数为 1” = 25.4 毫米(经过圆整)。
FL = 4.8 毫米 x 305 毫米 / 64 毫米
FL = 1464 毫米 / 64 毫米
FL = 按 23 毫米镜头的要求
FL = 0.19” x 12” / 2.5”
FL = 2.28” / 2.5”
FL = 0.912” x 25.4 毫米/inch
FL = 按 23 毫米镜头的要求
注:勿将工作距离与物体到像的距离混淆。工作距离是从工业镜头前部到被观察物体之间的距离。而物体到像的距离是 CCD 传感器到物体之间的距离。计算要求的工业镜头焦距时,必须使用工作距离
高速相机
按照不同标准可分为:标准分辨率数字相机和模拟相机等 。要根据不同的实际应用场合选不同的相机和高分辨率相机:
按成像色彩划分,可分为彩色相机和黑白相机;
按分辨率划分,像素数在38万以下的为普通型,像素数在38万以上的高分辨率型;
按光敏面尺寸大小划分,可分为1/4、1/3、1/2、1英寸相机;
按扫描方式划分,可分为行扫描相机(线阵相机)和面扫描相机(面阵相机)两种方式;(面扫描相机又可分为隔行扫描相机和逐行扫描相机);
按同步方式划分,可分为普通相机(内同步)和具有外同步功能的相机等。
图像采集卡
图像采集卡只是完整的机器视觉系统的一个部件,但是 它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口:黑白、彩色、模拟、数字等等。
比较典型的是PCI或AGP兼容的捕获卡,可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如,可以连接8个不同的摄像机,然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉,当采集卡抓拍图像时数字输出口就触发闸门。
视觉处理器
视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时,采用视觉处理器加快视觉处理任务。采集卡传输图像到存储器,进而计算分析。当前主流配置的PLC,且配置较高,视觉处理器已经几乎退出市场。
应用案例
在布匹的生产过程中,像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成,在现代化流水线后面常常可看到很多的检测工人来执行这道工序,给企业增加巨大的人工成本和管理成本的同时,却仍然不能保证100 %的检验合格率(即“零缺陷”)。对布匹质量的检测是重复性劳动,容易出错且效率低。
流水线进行自动化的改造,使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上,所有布匹的颜色、及数量都要进行自动确认(以下简称“布匹检测”)。采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中,用人工检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
特征提取辨识
一般布匹检测(自动识别)先利用高清晰度、高速摄像镜头拍摄标准图像,在此基础上设定一定标准;然后拍摄被检测的图像,再将两者进行对比。但是在布匹质量检测工程中要复杂一些:
1. 图像的内容不是单一的图像,每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。
2. 杂质的形状难以事先确定。
3. 由于布匹快速运动对光线产生反射,图像中可能会存在大量的噪声。
4. 在流水线上,对布匹进行检测,有实时性的要求。
由于上述原因,图像识别处理时应采取相应的算法,提取杂质的特征,进行模式识别,实现智能分析。
Color检测
一般而言,从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红(R)绿(G)蓝(B)三个成分组成,来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似,在颜色空间中也不尽相同。基于上述原因,我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。
Blob检测
根据上面得到的处理图像,根据需求,在纯色背景下检测杂质色斑,并且要计算出色斑的面积,以确定是否在检测范围之内。因此图像处理软件要具有分离目标,检测目标,并且计算出其面积的功能。
Blob分析(Blob Analysis)是对图像中相同像素的连通域进行分析,该连通域称为Blob。经二值化(Binary Thresholding)处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标,并可计算出目标的数量、位置、形状、方向和大小,还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析,而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE)来表示相邻的目标范围。这种算法与基于象素的算法相比,大大提高处理速度。
结果处理和控制
应用程序把返回的结果存入数据库或用户指定的位置,并根据结果控制机械部分做相应的运动。
根据识别的结果,存入数据库进行信息管理。以后可以随时对信息进行检索查询,管理者可以获知某段时间内流水线的忙闲,为下一步的工作作出安排;可以获知内布匹的质量情况等等。
应用现状
在国外,机器视觉的应用普及主要体现在半导体及电子行业,其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路:各类生产印刷电路板组装技术、设备;单、双面、多层线路板,覆铜板及所需的材料及辅料;辅助设施以及耗材、油墨、药水药剂、配件;电子封装技术与设备;丝网印刷设备及丝网周边材料等。SMT表面贴装:SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等;再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备:电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用,并且其产品在应用中占据着举足轻重的地位。除此之外,机器视觉还用于其他各个领域。
而在中国,视觉技术的应用开始于90年代,因为行业本身就属于新兴的领域,再加之机器视觉产品技术的普及不够,导致以上各行业的应用几乎空白。目前国内机器视觉大多为国外品牌。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家,随着机器视觉的不断应用,公司规模慢慢做大,技术上已经逐渐成熟。
随着经济水平的提高,3D机器视觉也开始进入人们的视野。3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力,在生产过程的早期就报废劣质产品,从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。
在行业应用方面,主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业,用机器视觉技术取代人工,可以提供生产效率和产品质量。例如在物流行业,可以使用机器视觉技术进行快递的分拣分类,不会出现大多快递公司人工进行分拣,减少物品的损坏率,可以提高分拣效率,减少人工劳动。