如何使用Python OpenCV对地板标记区域坐标进行变换生成扭曲坐标数组

问题描述 #

我有一组标记了地板上某块区域的坐标，对应的点标注效果见下图：

我希望对所有坐标进行变换，生成新的扭曲坐标数组，变换后的点构成的图形效果如下：

注意我需要先得到新的坐标数组，再用它生成对应的图形，而非直接处理已有图像。我可获取所有坐标之间的距离，坐标JSON结构如下，其中distance_to_next字段存储当前点到下一个点的距离，单位为厘米：

[
  {
    "x": 295,
    "y": 228,
    "distance_to_next": 200
  },
  {
    "x": 559,
    "y": 263,
    "distance_to_next": 30
  },
  {
    "x": 551,
    "y": 304,
    "distance_to_next": 50
  },
  {
    "x": 473,
    "y": 290,
    "distance_to_next": 70
  },
  {
    "x": 451,
    "y": 352,
    "distance_to_next": 150
  },
  {
    "x": 249,
    "y": 313,
    "distance_to_next": 100
  }
]

坐标的第一个点固定为左上角位置。我目前使用Python和OpenCV2开发，已知cv.warpAffine、cv.warpPerspective、cv.findHomography、cv.perspectiveTransform等相关函数，但不确定应该选用哪个实现上述需求，请问正确的实现方向是什么？是否有我忽略的明显思路？

回答 #

实现方向 #

你要做的是平面坐标的投影扭曲，不需要处理图像，所以cv.warpAffine、cv.warpPerspective这两个专门用于图像像素变换的接口可以直接排除，用坐标变换相关的接口即可：

• 从你给出的效果图来看属于线性透视变形，单应性变换完全可以满足需求，你只需要先确定4对对应点：原始多边形的4个角点（第一个点已经明确是左上角，剩下选右上、右下、左下三个角点即可），以及你期望变换后对应的4个目标角点坐标。
• 调用cv.findHomography()传入4对原始和目标角点，就能得到3x3的单应性变换矩阵H。
• 最后调用cv.perspectiveTransform()，把所有原始坐标点转换成float32类型、形状为(N,1,2)的numpy数组后，和矩阵H一起传入，直接就能输出所有变换后的新坐标数组，完全符合你先拿坐标再生成图形的需求。

如果你需要实现更灵活的非线性扭曲效果，可以选择薄板样条插值（TPS）变换，OpenCV也有对应实现，支持更多控制点对，能实现更复杂的变形效果。
你存储的distance_to_next字段如果不需要做物理尺寸校准的话，变换过程不需要用到，直接处理x、y坐标即可。

示例代码 #

import cv2
import numpy as np

# 读入原始坐标
original_points = np.array([
    [295, 228],
    [559, 263],
    [551, 304],
    [473, 290],
    [451, 352],
    [249, 313]
], dtype=np.float32)

# 第一步：选取原始4个角点，可根据实际场景调整
src_pts = np.array([
    original_points[0], # 固定左上角
    [559, 263], # 右上角
    [451, 352], # 右下角
    [249, 313]  # 左下角
], dtype=np.float32)

# 第二步：填入你期望的变换后4个角点坐标，对应效果图的四个角位置
dst_pts = np.array([
    [100, 100], # 变换后左上角
    [400, 120], # 变换后右上角
    [380, 400], # 变换后右下角
    [80, 350]   # 变换后左下角
], dtype=np.float32)

# 计算单应性矩阵
H, _ = cv2.findHomography(src_pts, dst_pts)

# 对所有坐标执行变换
original_points_reshaped = original_points.reshape(-1,1,2)
transformed_points = cv2.perspectiveTransform(original_points_reshaped, H)

# 输出最终的新坐标数组
print(transformed_points.reshape(-1,2))

内容的提问来源于stack exchange，提问作者Tom