不同相机拍摄图像的自动旋转及旋转准确度检测需求

针对不同相机拍摄的叶片图像，要实现叶尖朝上的自动旋转，靠ORB局部特征匹配容易因视角/光照差异失效，更适合从形状全局特征入手，以下是具体方案：

一、自动旋转实现步骤 #

1. 图像预处理（降噪+二值化） #

先对图像做灰度转换、降噪和二值化，突出叶片轮廓，适配不同光照条件：

import cv2
import numpy as np

def preprocess_image(img_path):
    # 读取图像
    img = cv2.imread(img_path)
    # 转灰度图
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 高斯模糊降低噪点
    blurred = cv2.GaussianBlur(gray, (5, 5), 0)
    # 自适应二值化（应对光照不均）
    thresh = cv2.adaptiveThreshold(blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2)
    return img, thresh

2. 检测叶尖位置 #

通过轮廓提取、骨架细化找到叶尖：

• 提取图像中最大的轮廓（默认叶片是画面主体）
• 细化轮廓得到叶片骨架，检测骨架端点
• 取距离叶片质心最远的端点作为叶尖

def detect_leaf_tip(thresh_img):
    # 提取外部轮廓
    contours, _ = cv2.findContours(thresh_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # 筛选面积最大的轮廓（叶片主体）
    leaf_contour = max(contours, key=cv2.contourArea)
    
    # 计算叶片质心
    moment = cv2.moments(leaf_contour)
    centroid = (int(moment['m10']/moment['m00']), int(moment['m01']/moment['m00']))
    
    # 骨架细化（Zhang-Suen算法）
    skeleton = cv2.ximgproc.thinning(thresh_img)
    
    # 检测骨架端点
    endpoints = []
    h, w = skeleton.shape
    for y in range(1, h-1):
        for x in range(1, w-1):
            if skeleton[y, x] == 255:
                # 统计8邻域白色像素数量，端点的邻域仅1个相邻白点（含自身共2个）
                neighbor_count = np.sum(skeleton[y-1:y+2, x-1:x+2] == 255)
                if neighbor_count == 2:
                    endpoints.append((x, y))
    
    # 取距离质心最远的端点为叶尖
    if endpoints:
        leaf_tip = max(endpoints, key=lambda p: np.sqrt((p[0]-centroid[0])**2 + (p[1]-centroid[1])**2))
        return leaf_tip, centroid
    return None, None

3. 计算旋转角度并执行旋转 #

根据叶尖与质心的连线，计算和竖直方向的夹角，旋转图像使叶尖朝上：

def rotate_to_tip_up(raw_img, tip_point, centroid_point):
    # 计算叶尖-质心向量与竖直向上方向的夹角（顺时针为正）
    dx = tip_point[0] - centroid_point[0]
    dy = tip_point[1] - centroid_point[1]
    rotate_angle = np.arctan2(dx, -dy) * 180 / np.pi
    
    # 获取图像中心，生成旋转矩阵
    img_h, img_w = raw_img.shape[:2]
    center = (img_w // 2, img_h // 2)
    rotation_matrix = cv2.getRotationMatrix2D(center, rotate_angle, 1.0)
    
    # 执行旋转，保持原尺寸，边缘填充采用复制模式
    rotated_img = cv2.warpAffine(raw_img, rotation_matrix, (img_w, img_h), 
                                flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)
    return rotated_img, rotate_angle

二、旋转准确度衡量方法 #

1. 标注对比法（最直接） #

手动标注一批图像的叶尖真实朝向角度，计算自动旋转角度的误差：

def evaluate_accuracy(predicted_angles, ground_truth_angles):
    pred_arr = np.array(predicted_angles)
    gt_arr = np.array(ground_truth_angles)
    # 平均绝对误差
    mae = np.mean(np.abs(pred_arr - gt_arr))
    # 均方误差
    mse = np.mean((pred_arr - gt_arr) ** 2)
    return mae, mse

误差越小，旋转准确度越高。

2. 特征验证法 #

• 旋转后，计算叶片主轴与竖直方向的夹角，理想值接近0°
• 统计旋转后叶尖位于图像上半区域的比例，比例越高，整体效果越稳定

三、原ORB方法失效原因 #

ORB依赖局部纹理/角点匹配，但不同相机拍摄的叶片存在以下问题：

• 视角差异大，局部特征形变严重
• 光照、焦距不同，导致局部特征外观变化大
• 叶片本身纹理少，有效特征不足，匹配易出错

相比之下，基于全局形状的方法更适配叶片这类具有明显形态特征的物体。

内容的提问来源于stack exchange，提问作者Derin OZER