基于图形变化（如红绿灯变色）模拟按键的实现可行性咨询

阿华AIGC实验室

2026-5-27

用Python实现视频红绿灯切换触发按键操作的方案

嘿，作为刚接触编程的新手，你的这个想法其实挺有意思的——把视频里的视觉信号转化为自动按键操作，这属于自动化+计算机视觉的入门场景，完全可以用Python实现，而且上手门槛不算高！下面给你详细拆解：

核心逻辑拆解

这个需求其实是两个核心环节的组合：

视觉识别：实时捕捉视频画面中的红绿灯颜色，区分绿色/红色状态
按键模拟：根据识别结果自动触发键盘（或鼠标）操作

实现所需的Python库

1. 图像识别：OpenCV

OpenCV是Python生态里最常用的计算机视觉库，能轻松搞定屏幕截图、颜色检测这些操作。你可以：

截取视频播放区域的屏幕画面
定位红绿灯所在的小区域（减少其他画面元素的干扰）
通过颜色阈值判断当前是绿灯还是红灯

2. 按键模拟：PyAutoGUI 或 Pynput

这两个库都能帮你模拟键盘按键：

PyAutoGUI 用法超简单，一行代码就能触发按键（比如pyautogui.press('space')），适合新手快速上手
Pynput 功能更细致，适合需要同时监听键盘输入+模拟操作的复杂场景

极简示例代码

给你写个基础框架，你可以根据自己的实际场景调整参数：

import cv2
import numpy as np
import pyautogui
import time

# 请根据你屏幕上红绿灯的位置调整这个坐标（x1,y1是左上角，x2,y2是右下角）
traffic_light_region = (200, 300, 250, 350)

while True:
    # 截取屏幕上的红绿灯区域
    screenshot = pyautogui.screenshot(region=traffic_light_region)
    # 转换为OpenCV能处理的格式
    frame = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)
    
    # 转成HSV颜色空间，比RGB更容易区分红绿
    hsv_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
    
    # 定义绿色和红色的HSV阈值（需要根据实际视频画面微调）
    lower_green = np.array([40, 40, 40])
    upper_green = np.array([70, 255, 255])
    lower_red = np.array([0, 120, 70])
    upper_red = np.array([10, 255, 255])
    
    # 检测画面中的红绿区域
    green_mask = cv2.inRange(hsv_frame, lower_green, upper_green)
    red_mask = cv2.inRange(hsv_frame, lower_red, upper_red)
    
    # 统计两种颜色的像素数量，判断当前状态
    green_pixel_count = cv2.countNonZero(green_mask)
    red_pixel_count = cv2.countNonZero(red_mask)
    
    if green_pixel_count > red_pixel_count:
        # 绿灯时触发空格键（你可以换成自己需要的按键）
        pyautogui.press('space')
        print("检测到绿灯，触发按键")
        time.sleep(1)  # 防止短时间内重复触发
    elif red_pixel_count > green_pixel_count:
        # 红灯时可以执行其他操作，比如注释掉的回车键
        # pyautogui.press('enter')
        print("检测到红灯")
    
    time.sleep(0.5)  # 控制检测频率，避免占用太多CPU