基于mesh的图像扭曲：如何定义不规则网格实现鱼眼帧转全景片段？

核心逻辑 #

鱼眼相机内参固定、目标全景片段的映射区域固定，因此仅需离线计算一次网格映射关系，所有视频帧可直接复用，无需逐帧重复计算。 #

实现步骤 #

1. 计算坐标映射关系 #

两种方式可选，根据你手里的参数决定：

• 无相机参数方案：准备棋盘格标定板，在鱼眼原图和目标全景片段中采集至少8对对应特征点，优先覆盖画面边缘、角落区域，特征点数量越多（建议15~20对）拟合精度越高。
• 有相机参数方案：如果已经有鱼眼的内参（焦距、畸变系数、主点坐标）、鱼眼相对全景坐标系的外参（旋转平移矩阵），可直接通过投影公式计算对应点：
  1. 把鱼眼像素坐标反投影到单位球面，抵消鱼眼畸变
  2. 通过外参旋转到全景坐标系下
  3. 按全景的投影规则（平面/柱面/球面）投影到目标片段的像素坐标系，得到对应坐标

2. 生成不规则变形网格 #

• 按你需要的精度设置网格密度，1080P分辨率下40x40的网格足够平衡精度和性能，密度越高变形越平滑，算力开销也越高。
• 用上述得到的对应点，通过薄板样条插值（TPS）或者双线性插值，计算每个网格顶点在鱼眼原图和目标全景片段的对应坐标，生成连续无撕裂的映射网格。
• 最终把网格映射关系转成和输入图像尺寸一致的map_x、map_y两个映射表，这就是你要的可复用网格。

3. 视频帧批量处理 #

预存的映射表直接加载复用即可，单帧处理调用成熟的重映射接口就能跑实时。

import cv2
import numpy as np

# 提前把计算好的映射表存成本地文件，启动时加载一次即可
map_x = np.load("fisheye_to_pano_map_x.npy")
map_y = np.load("fisheye_to_pano_map_y.npy")

# 逐帧处理逻辑
video_capture = cv2.VideoCapture("your_fisheye_video.mp4")
while True:
    ret, fisheye_frame = video_capture.read()
    if not ret:
        break
    # 直接调用remap完成扭曲，无需重复计算网格
    target_patch = cv2.remap(fisheye_frame, map_x, map_y, interpolation=cv2.INTER_LINEAR)

注意事项 #

• 标定时一定要覆盖鱼眼画面边缘，鱼眼边缘畸变最大，缺少边缘特征点会导致边缘区域映射误差极高
• 如果目标是柱面/球面全景，投影时要对应替换投影公式，避免画面拉伸变形
• 映射表存储可选npy、二进制文件等格式，文件大小和输入分辨率正相关，1080P下两个映射表总大小不到20MB

内容的提问来源于stack exchange，提问作者user16532502