基于OpenCV计算虚拟相机单应性时的锯齿伪影问题及解决需求

我参考Stack Overflow上的《Compute homography for a virtual camera with opencv》代码实现，对代码做了两处修改：

• 在平移矩阵中，将最后一列前3行左乘-R以得到全局坐标系下的平移量；
• 将平移矩阵的Z轴参数改为-dist，因全局坐标系中朝向相机的移动为Z轴负方向。

当X旋转角设为0时，地平线上方出现了本不应存在的加载图像锯齿状伪影。现提出以下问题：

1. 该现象是否为单应性计算的固有伪影？
2. 如何消除该伪影？
3. 我的应用场景中X旋转角范围为-10°至10°，如何计算不同X旋转角下的地平线位置以剔除上方无效图像数据？
4. 是否存在无需剔除数据的单应性计算数学方案？

附测试图像：

• 原始测试图：
• 伪影效果：

import cv2
import numpy as np

rotXdeg = 90
rotYdeg = 90
rotZdeg = 90
f = 500
dist = 500

def onRotXChange(val):
    global rotXdeg
    rotXdeg = val
def onRotYChange(val):
    global rotYdeg
    rotYdeg = val
def onRotZChange(val):
    global rotZdeg
    rotZdeg = val
def onFchange(val):
    global f
    f=val
def onDistChange(val):
    global dist
    dist=val

if __name__ == '__main__':

    #Read input image, and create output image
    src = cv2.imread('/path/to/image.jpg')
    dst = np.ndarray(shape=src.shape,dtype=src.dtype)

    #Create user interface with trackbars that will allow to modify the parameters of the transformation
    wndname1 = "Source:"
    wndname2 = "WarpPerspective: "
    cv2.namedWindow(wndname1, 1)
    cv2.namedWindow(wndname2, 1)
    cv2.createTrackbar("Rotation X", wndname2, rotXdeg, 180, onRotXChange)
    cv2.createTrackbar("Rotation Y", wndname2, rotYdeg, 180, onRotYChange)
    cv2.createTrackbar("Rotation Z", wndname2, rotZdeg, 180, onRotZChange)
    cv2.createTrackbar("f", wndname2, f, 2000, onFchange)
    cv2.createTrackbar("Distance", wndname2, dist, 2000, onDistChange)

    #Show original image
    cv2.imshow(wndname1, src)

    h , w = src.shape[:2]

    while True:

        rotX = (rotXdeg - 90)*np.pi/180
        rotY = (rotYdeg - 90)*np.pi/180
        rotZ = (rotZdeg - 90)*np.pi/180

        #Projection 2D -> 3D matrix
        A1= np.matrix([[1, 0, -w/2],
                       [0, 1, -h/2],
                       [0, 0, 0   ],
                       [0, 0, 1   ]])

        # Rotation matrices around the X,Y,Z axis
        RX = np.matrix([[1,           0,            0, 0],
                        [0,np.cos(rotX),-np.sin(rotX), 0],
                        [0,np.sin(rotX),np.cos(rotX) , 0],
                        [0,           0,            0, 1]])

        RY = np.matrix([[ np.cos(rotY), 0, np.sin(rotY), 0],
                        [            0, 1,            0, 0],
                        [ -np.sin(rotY), 0, np.cos(rotY), 0],
                        [            0, 0,            0, 1]])

        RZ = np.matrix([[ np.cos(rotZ), -np.sin(rotZ), 0, 0],
                        [ np.sin(rotZ), np.cos(rotZ), 0, 0],
                        [            0,            0, 1, 0],
                        [            0,            0, 0, 1]])

        #Composed rotation matrix with (RX,RY,RZ)
        R = RX * RY * RZ

        #Translation matrix on the Z axis change dist will change the height
        T = np.matrix([[1,0,0,0],
                       [0,1,0,0],
                       [0,0,1,-dist],
                       [0,0,0,1]])

        extractT = T[:3, 3:4]
        solveT = -R[:3, :3]@extractT
        T[:3, 3:4] = solveT

        #Camera Intrisecs matrix 3D -> 2D
        A2= np.matrix([[f, 0, w/2,0],
                       [0, f, h/2,0],
                       [0, 0,   1,0]])

        # Final and overall transformation matrix
        H = A2 * (T * (R * A1))

        # Apply matrix transformation
        cv2.warpPerspective(src, H, (w, h), dst, cv2.INTER_CUBIC)

        #Show the image
        cv2.imshow(wndname2, dst)
        if (cv2.waitKey(1) == ord('q')):
            break

1. 该现象是否为单应性计算的固有伪影？ #

不是单应性计算的固有伪影，本质是原图像没有对应“地平线上方”区域的有效数据，单应性变换对超出原图像范围的像素做反向映射插值，导致出现锯齿状伪影。因为用平面图像模拟3D透视变换时，原图像仅包含地平线及以下场景，变换后上方区域无真实数据来源，插值就会生成无效的重复/锯齿图案。

2. 如何消除该伪影？ #

有两种直接可行的方式：

• 提前填充无效区域：透视变换前，把原图像对应变换后无效区的上方区域，用纯色、渐变或合理背景填充，变换后伪影会被替换为设置的背景；
• 变换后裁剪/遮罩：计算出地平线位置，将地平线上方区域直接用背景色覆盖，或裁剪掉该部分区域。

3. 计算不同X旋转角下的地平线位置 #

地平线对应3D空间中无穷远处的水平线，可通过相机内参和旋转矩阵推导其在图像坐标系中的位置：

1. 地平线在3D空间中的方向向量为(0, 1, 0)（假设X轴旋转绕水平轴，地平线平行于Y轴）；
2. 用旋转矩阵R将该向量转换到相机坐标系：vec_cam = R[:3,:3] @ np.array([0,1,0])；
3. 通过相机内参矩阵A2投影到图像平面：

   # 取相机坐标系下z=1的无穷远点投影
   x_cam, y_cam, z_cam = vec_cam
   # 投影到图像坐标系
   img_y = (f * y_cam / z_cam) + h/2
   

   地平线是一条水平线，其在图像中的y轴坐标为img_y，x范围为0到图像宽度w。针对-10°~10°的X旋转角范围，将rotX代入旋转矩阵RX，即可计算出对应img_y，该值上方即为无效数据区域。

4. 无需剔除数据的单应性计算数学方案 #

不存在完全无需剔除/填充数据的单应性方案，因为单应性是平面到平面的映射，原平面没有的区域，变换后必然无对应数据。但可通过扩展原图像有效数据范围规避伪影：

• 若场景为已知3D环境，可用3D建模数据补充原图像上方区域，生成包含完整场景的全景图后再做单应性变换；
• 用图像生成模型（如GAN、扩散模型）补全原图像上方缺失区域，得到包含地平线以上合理背景的图像，再进行变换，即可避免伪影。

内容的提问来源于stack exchange，提问作者Helpful