为何OpenCV的cv2.rgbd.warpFrame会使扭曲图像出现线条图案？

这种线条图案通常是深度图的离散量化误差、投影对齐偏差，或是函数默认的低精度插值导致的，以下是可行的解决方法：

1. 预处理深度图 #

• 对输入的深度图做平滑处理：优先选择双边滤波（cv2.bilateralFilter(depth_img, 5, 50, 50)），它能在保留深度边缘的同时平滑微小的深度跳变；如果线条噪声明显，也可以先用cv2.GaussianBlur(depth_img, (3,3), 0)做轻度高斯模糊。
• 补全深度图空洞：如果深度图存在缺失区域，先用cv2.inpaint或邻域插值法填充空洞，空洞会导致扭曲时出现异常的断裂线条。

2. 手动实现带可选插值的扭曲流程 #

由于cv2.rgbd.warpFrame没有插值参数，可拆解流程手动实现，从而自定义插值方式：

1. 用cv2.rgbd.depthTo3d将深度图转换为3D点云；
2. 通过相机外参（旋转矩阵R、平移向量t）将3D点云变换到目标相机坐标系；
3. 用目标相机内参将变换后的3D点投影到图像平面，得到每个像素的对应坐标；
4. 最后用cv2.remap完成重映射，选择双线性插值（cv2.INTER_LINEAR）或双三次插值（cv2.INTER_CUBIC），这两种插值能有效消除锯齿和线条图案。

示例代码片段：

import cv2
import numpy as np

# 假设已准备好以下变量：
# src_rgb: 原始RGB图像
# src_depth: 原始深度图
# src_intrinsics: 源相机内参矩阵
# dst_intrinsics: 目标相机内参矩阵
# R: 旋转矩阵，src到dst的变换
# t: 平移向量，src到dst的变换

# 转换为3D点云
points_3d = cv2.rgbd.depthTo3d(src_depth, src_intrinsics)
# 变换3D点云到目标坐标系
points_3d_transformed = cv2.rgbd.warpFramePoints(points_3d, R, t)
# 投影到目标图像平面
dst_uv, _ = cv2.projectPoints(points_3d_transformed.reshape(-1, 3), np.eye(3), np.zeros(3), dst_intrinsics, None)
dst_uv = dst_uv.reshape(src_depth.shape[0], src_depth.shape[1], 2)
# 重映射（使用双三次插值）
warped_img = cv2.remap(src_rgb, dst_uv[..., 0], dst_uv[..., 1], interpolation=cv2.INTER_CUBIC, borderMode=cv2.BORDER_CONSTANT)

3. 后处理修复 #

如果仍有残留线条，可做以下处理：

• 用cv2.medianBlur(warped_img, 3)做中值滤波，消除细碎的线条噪声；
• 用自适应直方图均衡（cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))）增强局部对比度，弱化线条的视觉存在感。

内容的提问来源于stack exchange，提问作者mt-cv