Python OpenCV使用cv2.warpPerspective透视变换后图像质量低问题求助

在Python环境下使用OpenCV做透视变换开发，通过SIFT检测器计算得到两组点的单应性矩阵后，调用cv2.warpPerspective执行变换输出的扭曲图像质量极低，尝试更换插值参数后问题仍未解决。

相关代码 #

import cv2
import numpy as np
import matplotlib.pyplot as plt
import time
import copy

def main():
    picture = cv2.imread("src/paper.png")
    cap = cv2.VideoCapture("src/video0.mp4")
    query = cv2.imread("src/qr.png")

    while True:
        _, frame = cap.read()
        h,w = frame.shape[:2]
        rgb = cv2.cvtColor(query, cv2.COLOR_BGR2RGB)
        paper = cv2.resize(picture, (query.shape[1], query.shape[0]), interpolation = cv2.INTER_AREA)

        # 初始化SIFT检测器
        sift = cv2.SIFT_create()

        # 检测特征点和描述子
        query_kp, query_des = sift.detectAndCompute(rgb,None)
        train_kp, train_des = sift.detectAndCompute(frame.astype(np.uint8),None)

        match_points = []
        bf = cv2.BFMatcher(cv2.NORM_L2,crossCheck=False)
        match = bf.knnMatch(query_des,train_des,k=2)
        # 比率测试过滤匹配点
        ratio = 0.8
        for ptn1,ptn2 in match:
            if ptn1.distance < ratio * ptn2.distance:
                match_points.append(ptn1)

        # 透视变换至少需要4组匹配点
        if len(match_points) >= 4:
            set_point1 = np.float32([query_kp[ptn.queryIdx].pt for ptn in match_points]).reshape((-1, 1, 2))
            set_point2 = np.float32([train_kp[ptn.trainIdx].pt for ptn in match_points]).reshape((-1, 1, 2))
            frame = projection(frame, paper, set_point1, set_point2)

        cv2.imshow("frame", frame)
        cv2.waitKey(1)


def projection(frame, picture, set_point1, set_point2):
    h,w = frame.shape[:2]
    homography_matrix, _ = cv2.findHomography(set_point1,set_point2,cv2.RANSAC,5)
    warpedImg = cv2.warpPerspective(picture, homography_matrix, (w,h), flags=cv2.WARP_FILL_OUTLIERS)

    # 将变换后的图像叠加到原始帧上
    x,y,z = np.where(warpedImg != [0,0,0])
    frame[x,y,z] = warpedImg[x,y,z]
    return frame

main()

问题现象 #

变换后的图像质量极差，内部文字全部畸变，示例如下：

你的问题核心不是插值参数设置，而是逻辑错误导致的，按下方步骤修改即可解决：

• 取消提前压缩待变换图像：你每次循环都将高分辨率的picture压缩到和检测用的低分辨率query同尺寸，这一步直接损失了大部分图像细节，是文字模糊的核心原因。正确做法是将query上的特征点坐标，等比映射到picture的原始尺寸坐标下，再用于计算单应性矩阵，全程保留picture的原始分辨率。
• 补充正确的插值参数：cv2.warpPerspective的flags参数需要同时指定插值方式和填充规则，你当前只配置了填充规则，使用了默认的线性插值，效果较差。根据变换场景调整参数即可：

  # 放大场景用INTER_LANCZOS4，缩小场景用INTER_AREA，普通场景用INTER_CUBIC
  warpedImg = cv2.warpPerspective(picture, homography_matrix, (w,h), flags=cv2.INTER_CUBIC | cv2.WARP_FILL_OUTLIERS)
  

• 优化单应性矩阵精度：将RANSAC阈值从5调整到2~3，减少错误匹配点对单应性的影响，同时增加单应性矩阵非空校验，避免程序崩溃：

  homography_matrix, mask = cv2.findHomography(set_point1,set_point2,cv2.RANSAC,3.0)
  if homography_matrix is None:
      return frame
  

• 优化叠加逻辑：你当前用纯黑色判断来叠加图像，会丢失图像中的纯黑色内容，边缘也会有锯齿，建议通过二值mask做alpha混合，叠加效果会更平滑自然。

内容的提问来源于stack exchange，提问作者Yew