如何使用OpenCV对移动拍摄的视频进行画面稳定处理？

核心原理 #

要实现相机视角静止、所有物体位置固定的效果，本质是将视频所有帧对齐到选定的参考帧（一般选第一帧）：通过匹配当前帧和参考帧的特征点，计算相机运动带来的变换矩阵，再对当前帧执行逆变换抵消相机运动，最终所有帧的静态物体坐标完全一致。如果不需要对齐到首帧，也可以逐帧计算和前一帧的变换矩阵，累积得到当前帧到首帧的总变换矩阵，效果一致。

具体实现步骤 #

• 特征提取：使用ORB算法对参考帧和当前帧分别提取特征点和描述子，ORB是无专利限制的轻量算法，适配实时场景
• 特征匹配：使用暴力匹配器/FLANN匹配器匹配两帧的描述子，通过距离阈值过滤低置信度匹配对
• 变换矩阵计算：用RANSAC算法过滤误匹配点后，计算当前帧到参考帧的仿射变换矩阵（适配常规平移、旋转、缩放抖动）或单应性矩阵（适配平面场景的任意视角变换）
• 帧变换：对当前帧使用上述变换矩阵执行仿射/透视变换，得到对齐到参考帧的稳定帧，可选裁剪边缘黑边获得最终输出

相邻两帧对齐操作 #

如果你只需要处理前后两帧prev_frame和next_frame，只需计算next_frame到prev_frame的仿射变换矩阵，对next_frame执行cv2.warpAffine(next_frame, M, (帧宽度, 帧高度))即可得到和prev_frame物体位置对齐的结果。

可运行代码示例 #

以下代码基于OpenCV 4.x版本编写，适配目前主流的Python环境，无废弃接口：

import cv2
import numpy as np

def stabilize_video(input_path, output_path):
    # 读取输入视频
    cap = cv2.VideoCapture(input_path)
    if not cap.isOpened():
        raise ValueError("无法打开输入视频")
    
    # 获取视频基础参数
    fps = cap.get(cv2.CAP_PROP_FPS)
    frame_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    frame_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    
    # 初始化输出视频
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    out = cv2.VideoWriter(output_path, fourcc, fps, (frame_w, frame_h))
    
    # 读取第一帧作为参考帧
    ret, ref_frame = cap.read()
    if not ret:
        return
    ref_gray = cv2.cvtColor(ref_frame, cv2.COLOR_BGR2GRAY)
    
    # 初始化ORB特征提取器，可根据场景调整特征点数量
    orb = cv2.ORB_create(nfeatures=800)
    kp_ref, des_ref = orb.detectAndCompute(ref_gray, None)
    # 初始化汉明距离匹配器，适配ORB二进制描述子
    bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    
    # 逐帧处理
    for _ in range(total_frames - 1):
        ret, curr_frame = cap.read()
        if not ret:
            break
        curr_gray = cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY)
        
        # 提取当前帧特征
        kp_curr, des_curr = orb.detectAndCompute(curr_gray, None)
        # 特征匹配并筛选前150个最优匹配对
        matches = bf.match(des_ref, des_curr)
        matches = sorted(matches, key=lambda x: x.distance)[:150]
        
        # 提取匹配点对坐标
        pts_ref = np.float32([kp_ref[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)
        pts_curr = np.float32([kp_curr[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)
        
        # 计算仿射变换矩阵，RANSAC阈值设为5过滤误匹配
        M, _ = cv2.estimateAffine2D(pts_curr, pts_ref, ransacReprojThreshold=5.0)
        
        # 对当前帧执行变换对齐到参考帧
        stabilized_frame = cv2.warpAffine(curr_frame, M, (frame_w, frame_h))
        
        # 可自行添加黑边裁剪逻辑后再写入
        out.write(stabilized_frame)
    
    # 释放资源
    cap.release()
    out.release()
    cv2.destroyAllWindows()

# 调用示例
# stabilize_video("输入视频路径.mp4", "稳定后输出路径.mp4")

优化建议 #

• 若场景存在大量动态移动物体，可在计算变换矩阵前加入动态点过滤逻辑，排除运动特征与整体背景不一致的点
• 若视频抖动幅度大，可引入长度为10~30帧的滑动窗口平滑变换矩阵，避免画面出现跳变
• 如需去除变换后的边缘黑边，可预先计算所有变换帧的最大有效重叠区域，统一裁剪后输出

内容的提问来源于stack exchange，提问作者Roy Amoyal