AI虚拟手势玩飞机大战-手势控制飞机

哈喽，大家好。

下面我们分解一下这个小项目，带大家来一步一步实现，文末获取项目完整的源代码。

1. 准备飞机大战程序

Github上找到一个Python版本的飞机大战程序，安装Pygame即可运行。

游戏操作简单，右上角是游戏暂停/开始按钮，用鼠标点击操作。

键盘的A、D、W、S键用来控制飞机的移动方向，分别对应左、右、上、下。

所以我们的AI程序要完成两个最核心的功能，第一，识别手势；第二，将手势转换成鼠标、键盘操作，便可控制游戏。

2. 识别手势

这里，我们用opencv读取摄像头中的视频流。

将视频流中的每一帧送入mediapipe中的手掌检测模型，识别手掌 21 个关键点。

在我们的项目中，只用到了食指和中指，也就是左右中的第8和第12个点。

核心代码如下：

ret, frame = cap.read()
results = hands.process(frame[:, :, ::-1])
if results.multi_hand_landmarks:
    # 遍历每个手掌
    for hand_landmarks in results.multi_hand_landmarks:
        finger_axis_8 = hand_landmarks.landmark[8]
        finger_axis_12 = hand_landmarks.landmark[12]

frame是视频流中的每一帧，hands是手掌检测模型。

解析出来的finger_axis_8和finger_axis_12两个对象中分别存放食指和中指的x、y坐标。

3. 手势控制游戏暂停

计算食指与中指坐标之间的距离，大于某个阈值，则移动鼠标，点击暂停游戏按钮。

游戏暂停

若食指与中指坐标之间的距离，小于某个阈值，则移动鼠标，点击开始游戏按钮

游戏开始

距离计算很简单，这里不贴代码了，重点说下Python控制鼠标。

我用的是PyUserInput库，它提供了PyMouse和PyKeyboard两个类，分别控制鼠标和键盘。

当我们想用Python程序控制游戏的暂停与开始，只需要将鼠标移动到按钮的位置，执行一次点击操作即可。

# 定义鼠标对象
self.mouse = PyMouse()

def pause_or_start_game(self, dist):
    """
    判断是否需要暂停（开始）游戏
    :param dist:
    :return:
    """
    if (not self.is_pause and dist > 80) or (self.is_pause and dist < 80):
        self.mouse.move(915, 125)
        self.mouse.click(915, 125)

        self.is_pause = not self.is_pause

pause_or_start_game函数的参数dist是食指与中指之间的距离。

暂停/开始按钮的坐标为(915, 125)，每个电脑坐标不一样，需要大家根据自己的实际情况重新计算。

计算思路很简单，游戏边框大小为(480, 700)，游戏在屏幕正中间启动，只要获取到屏幕的尺寸，就能大概估算出按钮的坐标。在调用PyMouse的move函数，检验、微调一下即可。

PyMouse的move函数用来移动鼠标位置，click函数用来执行鼠标点击操作。

4. 手势控制飞机移动

这里，需要计算相邻两帧食指的x坐标和y坐标的移动方向和距离。从而决定按下键盘A、D、W、S中的哪一个。

同样的，移动的方向和距离很简单，这里也不说了，重点说下PyKeyboard模块控制键盘按键。

self.key_board = PyKeyboard()
# 按下按键
self.key_board.press_key(key)
# 停留一段时间
time.sleep(press_dwell)
# 释放按键
self.key_board.release_key(key)

press_key和release_key函数之间，调用了time.sleep(press_dwell)控制按键的时长，按键时间长，则飞机移动距离就长，反之，按键时间短，则飞机移动距离就短。

所以，这里的难点在于如何将食指的移动距离映射为按键的时长。

我用的是下面这段代码测出来

for i in range(n):
    kb.press_key('A')
    time.sleep(0.05)
    kb.release_key('A')

固定按键时长为0.05秒，测试飞机从中部移动到最左边，需要的最小的n。

飞机从中部移动到最左边，移动距离为 240，因此，240 / (n * 0.05)便是飞机每秒的移动距离。

我测出来的n=7，因此，飞机每秒移动距离为685.7142857。

只要计算出食指的移动距离，除以685.7142857，就可以得出键盘的按键时长。

手势控制飞机移动的完整代码为：

def press_key_board(self, direction, move_dist):
    """
    将手指移动距离，换算为按键间隔，并执行按键操作
    :param direction:移动方向
    :param move_dist:移动距离
    :return:
    """
    dist_per_sec = 685.7142857
    if direction == 'x':
        key = 'A' if move_dist < 0 else 'D'
    elif direction == 'y':
        key = 'W' if move_dist < 0 else 'S'
    else:
        return

    press_dwell = math.fabs(move_dist / dist_per_sec)
    self.key_board.press_key(key)
    time.sleep(press_dwell)
    self.key_board.release_key(key)

项目的核心部分已经讲解完毕，完整代码已经整理好，需要的朋友评论区留言即可。

获取代码后，先看运行步骤.txt。

如果大家觉得本文对你有用就点个在看鼓励一下吧，后续我会持续分享优秀的 Python+AI 项目。