求助：基于OpenCV计算视频Residual Motion的Python代码实现

刚好之前做过类似的视觉任务，我来帮你梳理实现思路，再给出完整的Python代码——完全贴合你提到的论文公式：Residual Motion = 全局运动估计生成的光流场 - 稠密光流估计结果。核心就是先拿到局部运动的稠密光流和全局运动对应的光流场，再做逐像素减法得到残差。

1. 依赖准备 #

先确保你安装了必要的库：

pip install opencv-python numpy

2. 完整代码实现 #

代码里加了详细注释，每一步的逻辑都写清楚了：

import cv2
import numpy as np

def compute_global_flow(prev_gray, curr_gray):
    """
    计算全局运动对应的光流场：通过特征匹配+单应性矩阵建模全局运动，再生成全局光流
    """
    # 初始化ORB特征检测器（速度快，适合实时场景）
    orb = cv2.ORB_create(500)
    # 检测特征点并计算描述子
    kp1, des1 = orb.detectAndCompute(prev_gray, None)
    kp2, des2 = orb.detectAndCompute(curr_gray, None)
    
    # 暴力匹配器匹配特征，只保留匹配度高的点
    bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    matches = bf.match(des1, des2)
    matches = sorted(matches, key=lambda x: x.distance)[:100]
    
    # 提取匹配的特征点坐标
    pts1 = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)
    pts2 = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)
    
    # 用RANSAC鲁棒估计单应性矩阵（建模相机全局运动：平移、旋转、缩放等）
    H, mask = cv2.findHomography(pts1, pts2, cv2.RANSAC, 5.0)
    
    # 生成图像所有像素的网格坐标
    h, w = prev_gray.shape
    x, y = np.meshgrid(np.arange(w), np.arange(h))
    coords = np.stack([x.flatten(), y.flatten(), np.ones_like(x.flatten())], axis=1).T
    
    # 用单应性矩阵计算全局运动后的像素坐标
    transformed_coords = H @ coords
    transformed_coords /= transformed_coords[2, :]  # 齐次坐标归一化
    
    # 计算全局光流：(新坐标 - 原坐标)
    global_flow_x = transformed_coords[0, :].reshape(h, w) - x
    global_flow_y = transformed_coords[1, :].reshape(h, w) - y
    
    return global_flow_x, global_flow_y

def compute_residual_motion(video_path, output_frames=False):
    """
    计算视频的残差运动，可选将RGB+残差通道的帧可视化/保存
    """
    cap = cv2.VideoCapture(video_path)
    if not cap.isOpened():
        print("无法打开目标视频文件，请检查路径是否正确")
        return
    
    # 读取第一帧并转为灰度图（光流计算需要灰度输入）
    ret, prev_frame = cap.read()
    if not ret:
        print("视频为空或无法读取第一帧")
        return
    prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)
    
    while cap.isOpened():
        ret, curr_frame = cap.read()
        if not ret:
            break
        
        curr_gray = cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY)
        
        # 1. 计算稠密光流（捕捉局部物体运动）
        flow = cv2.calcOpticalFlowFarneback(prev_gray, curr_gray, None, 
                                            pyr_scale=0.5, levels=3, winsize=15, 
                                            iterations=3, poly_n=5, poly_sigma=1.2, flags=0)
        dense_flow_x = flow[..., 0]
        dense_flow_y = flow[..., 1]
        
        # 2. 计算全局光流场（捕捉相机等全局运动）
        try:
            global_flow_x, global_flow_y = compute_global_flow(prev_gray, curr_gray)
        except Exception as e:
            print(f"当前帧全局运动估计失败，自动跳过: {str(e)}")
            prev_gray = curr_gray
            continue
        
        # 3. 计算残差运动：稠密光流 - 全局光流
        residual_x = dense_flow_x - global_flow_x
        residual_y = dense_flow_y - global_flow_y
        
        # 将残差转为单通道（取x/y方向的L2范数作为残差强度），再归一化到0-255
        residual_motion = np.sqrt(residual_x**2 + residual_y**2)
        residual_motion = cv2.normalize(residual_motion, None, 0, 255, cv2.NORM_MINMAX, dtype=cv2.CV_8U)
        
        # 4. 合并RGB帧与残差通道（转为RGBA格式，方便后续输入深度学习模型）
        rgba_frame = cv2.cvtColor(curr_frame, cv2.COLOR_BGR2RGBA)
        rgba_frame[..., 3] = residual_motion
        
        # 如果需要可视化，打开窗口显示
        if output_frames:
            cv2.imshow("RGB + Residual Motion Channel", rgba_frame)
            # 按Q键提前退出
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
        
        # 更新前一帧，准备处理下一帧
        prev_gray = curr_gray
    
    cap.release()
    cv2.destroyAllWindows()

# 示例调用：替换为你的视频路径即可
if __name__ == "__main__":
    compute_residual_motion("your_video.mp4", output_frames=True)

3. 关键细节说明 #

• 稠密光流计算：用cv2.calcOpticalFlowFarneback，这是OpenCV中成熟的稠密光流实现，能输出每个像素的运动向量，适合捕捉局部物体运动。
• 全局运动估计：用ORB特征匹配+RANSAC鲁棒估计单应性矩阵，单应性矩阵可以很好地建模相机的全局运动（比如平移、旋转、缩放），再通过网格坐标变换生成全局光流场。
• 残差运动处理：逐像素减去全局光流后，得到的就是纯粹的局部物体运动残差，最后归一化到0-255范围，刚好可以作为图像的第四通道。
• 第四通道合并：代码里把残差作为RGBA帧的Alpha通道，你也可以直接把RGB和残差通道堆叠成(高度, 宽度, 4)的张量，直接输入深度学习模型。

小提示 #

• 如果视频中有大量动态物体，可以调整cv2.findHomography里的RANSAC阈值（默认5.0），筛选出更准确的全局运动匹配点。
• 稠密光流的参数（比如winsize、levels）可以根据视频分辨率调整，高分辨率视频可以适当增大winsize。

内容的提问来源于stack exchange，提问作者user9662847