视觉伺服系统将视觉信息作为反馈信号，用于控制调整机器人的位置和姿态。这方面的应用主要体现在半导体和电子行业。机器视觉系统还在质量检测、识别工件、食品分拣、包装的各个方面得到了广泛应用。
通常，机器人视觉伺服控制是基于位置的视觉伺服或者基于图像的视觉伺服，它们分别又称为三维视觉伺服和二维视觉伺服，这两种方法各有其优点和适用性，同时也存在一些缺陷。
基于位置的视觉伺服系统，利用摄像机的参数来建立图像信息与机器人末端执行器的位置/姿态信息之间的映射关系，实现机器人末端执行器位置的闭环控制。末端执行器位置与姿态误差由实时拍摄图像中提取的末端执行器位置信息与定位目标的几何模型来估算，然后基于位置与姿态误差，得到各关节的新位姿参数。基于位置的视觉伺服要求末端执行器应始终可以在视觉场景中被观测到，并计算出其三维位置姿态信息。消除图像中的干扰和噪声是保证位置与姿态误差计算准确的关键。
二维视觉伺服通过摄像机拍摄的图像与给定的图像(不是三维几何信息)进行特征比较，得出误差信号。然后，通过关节控制器和视觉控制器和机器人当前的作业状态进行修正，使机器人完成伺服控制。相比三维视觉伺服，二维视觉伺服对摄像机及机器人的标定误差具有较强的鲁棒性，但是在视觉伺服控制器的设计时，不可避免地会遇到图像雅克比矩阵的奇异性以及局部极小等问题。
针对三维和二维视觉伺服方法的局限性，有人提出了2.5维视觉伺服方法。它将摄像机平动位移与旋转的闭环控制解耦，基于图像特征点，重构物体三维空间中的方位及成像深度比率，平动部分用图像平面上的特征点坐标表示。这种方法能成功地把图像信号和基于图像提取的位姿信号进行有机结合，并综合他们产生的误差信号进行反馈，很大程度上解决了鲁棒性、奇异性、局部极小等问题。但是，这种方法仍存在一些问题需要解决，如怎样确保伺服过程中参考物体始终位于摄像机视野之内，以及分解单应性矩阵时存在解不唯一等问题。
在建立视觉控制器模型时，需要找到一种合适的模型来描述机器人的末端执行器和摄像机的映射关系。图像雅克比矩阵的方法是机器人视觉伺服研究领域中广泛使用的一类方法。图像的雅克比矩阵是时变的，所以，需要在线计算或估计。
