如何用OpenCV精准识别箭头方向？求消除反光干扰方案

一、优化现有流程：解决反光导致的最远点偏移问题 #

1. 改进Mask生成，过滤反光区域 #

反光区域在HSV中通常表现为高亮度（V通道值极高），可在原有HSV阈值基础上增加V通道上限，过滤过曝的反光区域：

import cv2
import numpy as np

# 示例：原有HSV阈值 + V通道上限过滤
h_min, s_min, v_min = 0, 0, 50
h_max, s_max = 180, 255
lower_hsv = np.array([h_min, s_min, v_min])
upper_hsv = np.array([h_max, s_max, 220])  # 限制V通道最大值，过滤反光
hsv_img = cv2.cvtColor(raw_img, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_img, lower_hsv, upper_hsv)

# 形态学操作清理mask噪点
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)

2. 替换"最远点"逻辑：基于凸包与凸缺陷定位尖端 #

反光会干扰最远点计算，改用凸包+凸缺陷筛选箭头尖端：

# 提取最大轮廓
contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
max_contour = max(contours, key=cv2.contourArea)

# 计算凸包与凸缺陷
hull = cv2.convexHull(max_contour, returnPoints=False)
defects = cv2.convexityDefects(max_contour, hull)

# 筛选箭头尖端：凸缺陷中角度接近180度的点
tip_point = None
for i in range(defects.shape[0]):
    s, e, f, d = defects[i, 0]
    start = tuple(max_contour[s][0])
    end = tuple(max_contour[e][0])
    far = tuple(max_contour[f][0])
    # 计算夹角
    a = np.sqrt((end[0]-start[0])**2 + (end[1]-start[1])**2)
    b = np.sqrt((far[0]-start[0])**2 + (far[1]-start[1])**2)
    c = np.sqrt((end[0]-far[0])**2 + (end[1]-far[1])**2)
    angle = np.arccos((b**2 + c**2 - a**2)/(2*b*c)) * 180 / np.pi
    # 箭头尖端夹角通常接近180度，可根据实际调整阈值
    if angle > 160:
        tip_point = far
        break

# 结合中心点判断方向
moments = cv2.moments(max_contour)
center_x = int(moments["m10"] / moments["m00"])
center_y = int(moments["m01"] / moments["m00"])
# 通过tip_point与center的坐标差判断方向（如x差为正→右，y差为负→上）

3. 模板匹配优化：基于形状矩而非像素 #

放弃像素级模板匹配，改用Hu矩匹配对比形状特征，不受反光影响：

# 预加载模板轮廓（提前提取好的箭头模板轮廓）
template_contour = cv2.imread("arrow_template.png", 0)
template_contour, _ = cv2.findContours(template_contour, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
template_contour = template_contour[0]

# 计算目标与模板的Hu矩
target_moments = cv2.moments(max_contour)
target_hu = cv2.HuMoments(target_moments)
template_moments = cv2.moments(template_contour)
template_hu = cv2.HuMoments(template_moments)

# 计算相似度（值越小形状越匹配）
similarity = np.sum(np.abs(target_hu - template_hu))
if similarity < 0.1:  # 阈值根据实际调整
    # 匹配成功，基于模板方向判断箭头指向

二、替代方案：最小外接矩形拟合方向 #

若上述优化仍有误差，可尝试最小外接矩形结合面积比筛选有效轮廓：

rect = cv2.minAreaRect(max_contour)
box = cv2.boxPoints(rect)
box = np.int0(box)

# 计算轮廓与矩形的面积比，排除反光导致的畸形轮廓
contour_area = cv2.contourArea(max_contour)
rect_area = rect[1][0] * rect[1][1]
area_ratio = contour_area / rect_area

# 箭头的面积比通常在0.6~0.8之间，可根据实际调整
if 0.6 < area_ratio < 0.8:
    # 修正旋转角度，获取长轴方向
    angle = rect[2]
    if rect[1][0] < rect[1][1]:
        angle += 90
    # angle即为箭头的大致指向角度（0度为右，90度为上，以此类推）

三、关键调试建议 #

• 所有阈值（HSV范围、夹角、面积比、相似度）需根据实际箭头的颜色、尺寸、拍摄环境针对性调整，可通过cv2.createTrackbar制作交互式调试工具
• 若反光极强，可补充灰度图的自适应阈值处理（cv2.adaptiveThreshold），与HSV阈值mask做与运算，进一步过滤反光

内容的提问来源于stack exchange，提问作者artas2357