如何使用OpenCV裁剪出FIFA游戏画面中显示的虚拟控制器特定对象

问题说明 #

尝试使用OpenCV从FIFA游戏画面显示的虚拟控制器中裁剪出对应图像，目前无法完整裁剪出目标对象。

当前输出结果 #

• Cont Output：
  
• Crop Output：
  

期望输出效果 #

控制器参考模板 #

修复方案 #

你当前的裁剪逻辑大概率使用了固定坐标阈值或者简单颜色二值化，没有适配游戏画面中控制器的位置偏移、亮度变化，按以下步骤调整即可：

1. 模板匹配定位控制器整体位置
   拿控制器参考图作为匹配模板，使用cv2.matchTemplate()做归一化相关匹配，拿到控制器在原始画面的最小外接矩形坐标，代码示例：

import cv2
import numpy as np

# 读取原始游戏画面和控制器模板
frame = cv2.imread("fifa_game_frame.jpg")
template = cv2.imread("controller_template.png", 0)
frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

# 执行模板匹配获取控制器位置
res = cv2.matchTemplate(frame_gray, template, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
h, w = template.shape
top_left = max_loc
bottom_right = (top_left[0] + w, top_left[1] + h)

2. 动态坐标裁剪+边缘优化
   如果裁剪后还有多余背景，可以用轮廓检测过滤非控制器区域：

# 裁剪出控制器大致区域
controller_roi = frame[top_left[1]:bottom_right[1], top_left[0]:bottom_right[0]]
# 二值化+轮廓检测过滤背景
roi_gray = cv2.cvtColor(controller_roi, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(roi_gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
contours, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 取最大轮廓的外接矩形做二次裁剪
max_cnt = max(contours, key=cv2.contourArea)
x, y, w, h = cv2.boundingRect(max_cnt)
final_controller = controller_roi[y:y+h, x:x+w]

3. 适配多分辨率场景
   如果游戏画面分辨率会动态变化，先把原始画面和模板都缩放到同一固定尺寸再做匹配，避免尺寸不匹配导致匹配失效。

内容的提问来源于stack exchange，提问作者Sifu Duck