如何对JPEG图片执行运动补偿？求C++/Python现成代码

运动补偿的核心是建立两张图像间的运动变换关系，将目标图像对齐到参考图像的坐标系，步骤如下：

• 图像预处理：用图像库（如OpenCV）将JPEG解码为像素矩阵，建议转为灰度图降低计算量，同时可做高斯模糊抑制噪声。
• 运动估计：
  • 若场景是刚体平移/小角度旋转，可选用Farneback稠密光流直接计算像素级运动；
  • 若存在缩放、透视等复杂变换，优先用特征点匹配：检测ORB/SIFT等特征点，匹配对应点后用RANSAC算法估计仿射或透视变换矩阵。
• 运动补偿：用估计出的变换矩阵，对目标图像做透视/仿射变换，完成对齐。
• 后处理：可对对齐后的图像做均值融合，进一步缩小差异。

以下是基于OpenCV的实用实现，支持Python和C++，核心逻辑是以首张图像为参考，依次对齐后续连拍图像：

Python 实现 #

import cv2
import numpy as np
import glob

def align_images(reference_img, target_img):
    # 转为灰度图
    ref_gray = cv2.cvtColor(reference_img, cv2.COLOR_BGR2GRAY)
    target_gray = cv2.cvtColor(target_img, cv2.COLOR_BGR2GRAY)

    # ORB特征检测与匹配
    orb = cv2.ORB_create(500)
    kp1, des1 = orb.detectAndCompute(ref_gray, None)
    kp2, des2 = orb.detectAndCompute(target_gray, None)

    # 暴力匹配并筛选前100个最优匹配
    matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    matches = sorted(matcher.match(des1, des2), key=lambda x: x.distance)[:100]

    # 提取匹配点坐标
    src_pts = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)
    dst_pts = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)

    # 估计透视变换矩阵
    M, _ = cv2.findHomography(dst_pts, src_pts, cv2.RANSAC, 5.0)

    # 应用变换对齐图像
    h, w = reference_img.shape[:2]
    return cv2.warpPerspective(target_img, M, (w, h))

# 读取连拍图像（替换为你的图像路径）
image_paths = sorted(glob.glob("连拍图像/*.jpg"))
images = [cv2.imread(path) for path in image_paths]

if len(images) < 2:
    print("至少需要2张图像")
    exit()

reference = images[0]
aligned_images = [reference]

# 批量对齐并保存
for idx, img in enumerate(images[1:], start=2):
    aligned = align_images(reference, img)
    aligned_images.append(aligned)
    cv2.imwrite(f"对齐后的图像_{idx}.jpg", aligned)

# 可选：均值融合所有对齐图像
fused = np.mean(aligned_images, axis=0).astype(np.uint8)
cv2.imwrite("融合后的图像.jpg", fused)

C++ 实现 #

#include <opencv2/opencv.hpp>
#include <vector>
#include <string>
#include <algorithm>

using namespace cv;
using namespace std;

Mat alignImages(const Mat& reference, const Mat& target) {
    Mat refGray, targetGray;
    cvtColor(reference, refGray, COLOR_BGR2GRAY);
    cvtColor(target, targetGray, COLOR_BGR2GRAY);

    // ORB特征检测
    Ptr<ORB> orb = ORB::create(500);
    vector<KeyPoint> kp1, kp2;
    Mat des1, des2;
    orb->detectAndCompute(refGray, noArray(), kp1, des1);
    orb->detectAndCompute(targetGray, noArray(), kp2, des2);

    // 暴力匹配并排序
    BFMatcher matcher(NORM_HAMMING, true);
    vector<DMatch> matches;
    matcher.match(des1, des2, matches);
    sort(matches.begin(), matches.end(), [](const DMatch& a, const DMatch& b) {
        return a.distance < b.distance;
    });
    vector<DMatch> goodMatches(matches.begin(), matches.begin() + 100);

    // 提取匹配点坐标
    vector<Point2f> srcPts, dstPts;
    for (const auto& match : goodMatches) {
        srcPts.push_back(kp1[match.queryIdx].pt);
        dstPts.push_back(kp2[match.trainIdx].pt);
    }

    // 估计透视变换矩阵
    Mat M = findHomography(dstPts, srcPts, RANSAC, 5.0);

    // 应用变换
    Mat aligned;
    warpPerspective(target, aligned, M, reference.size());
    return aligned;
}

int main() {
    // 读取连拍图像（替换为你的图像路径）
    vector<String> imagePaths;
    glob("连拍图像/*.jpg", imagePaths);
    vector<Mat> images;
    for (const auto& path : imagePaths) {
        images.push_back(imread(path));
    }

    if (images.size() < 2) {
        cout << "至少需要2张图像" << endl;
        return -1;
    }

    Mat reference = images[0];
    vector<Mat> alignedImages;
    alignedImages.push_back(reference);

    // 批量对齐并保存
    for (size_t i = 1; i < images.size(); ++i) {
        Mat aligned = alignImages(reference, images[i]);
        alignedImages.push_back(aligned);
        imwrite(format("对齐后的图像_%d.jpg", i+1), aligned);
    }

    // 可选：均值融合所有对齐图像
    Mat fused = Mat::zeros(reference.size(), reference.type());
    for (const auto& img : alignedImages) {
        fused += img / (double)alignedImages.size();
    }
    fused.convertTo(fused, CV_8U);
    imwrite("融合后的图像.jpg", fused);

    return 0;
}

说明 #

• 默认使用ORB特征（OpenCV自带，无需额外依赖），若需更高精度可替换为SIFT（需编译OpenCV时开启non-free模块）；
• 针对连拍场景优化，若相机运动剧烈可调整特征点数量或改用光流法；
• 运行前需确保已安装OpenCV：Python用pip install opencv-python，C++需链接OpenCV库。

内容的提问来源于stack exchange，提问作者gge hy