如何使用cv2.calibrateCamera标定变倍PTZ相机并固定指定参数

由于cv2.calibrateCamera默认针对固定内参的相机标定（所有图像共用同一套内参），而你的需求是每张图像的焦距（fx=fy）可变、其余部分固定，需要结合OpenCV基础函数+自定义约束实现，具体步骤如下：

1. 确定固定参数的初始值 #

• 光心(cx, cy)：直接取图像尺寸的中心作为初始值，若有之前的标定结果或硬件参数，优先用更准确的先验值：

  img_width, img_height = 1920, 1080
  cx = img_width / 2.0
  cy = img_height / 2.0
  

• 平移向量tvecs：PTZ相机位置固定，所有图像的tvec完全相同。用第一张图像的cv2.solvePnP估计初始tvec值：

  # objpoints[0]是第一张图的世界坐标点，imgpoints[0]是对应图像坐标点
  ret, _, fixed_tvec = cv2.solvePnP(objpoints[0], imgpoints[0], 
                                   np.array([[1000, 0, cx], [0, 1000, cy], [0,0,1]], dtype=np.float32), 
                                   None)
  

2. 逐图优化可变参数（fx=fy + rvec） #

针对每张图像，固定cx、cy、tvec，仅优化fx=fy和旋转向量rvec，以重投影误差最小化为目标：

示例代码框架：

import cv2
import numpy as np
from scipy.optimize import minimize

# 准备数据：objpoints是N组世界坐标，imgpoints是N组图像坐标
objpoints = ...  # 格式：list[np.ndarray]，每个元素shape=(num_points,3)
imgpoints = ...  # 格式：list[np.ndarray]，每个元素shape=(num_points,2)

# 固定参数
img_size = (1920, 1080)
cx = img_size[0]/2
cy = img_size[1]/2
# 初始化固定tvec
ret, _, fixed_tvec = cv2.solvePnP(objpoints[0], imgpoints[0],
                                 np.array([[1000,0,cx],[0,1000,cy],[0,0,1]], dtype=np.float32),
                                 None)

# 存储每张图的可变参数
per_image_fx = []
per_image_rvecs = []
dist_coeffs = None  # 若要固定畸变系数，可预先标定；若优化则全局估计

# 逐图处理
for objp, imgp in zip(objpoints, imgpoints):
    # 初始化fx和rvec
    initial_fx = 1000.0
    ret, initial_rvec, _ = cv2.solvePnP(objp, imgp,
                                       np.array([[initial_fx,0,cx],[0,initial_fx,cy],[0,0,1]], dtype=np.float32),
                                       dist_coeffs)
    
    # 定义优化函数：计算重投影误差
    def reprojection_error(params):
        fx = params[0]
        rvec = params[1:4].reshape((3,1))
        camera_mat = np.array([[fx,0,cx],[0,fx,cy],[0,0,1]], dtype=np.float32)
        imgp_proj, _ = cv2.projectPoints(objp, rvec, fixed_tvec, camera_mat, dist_coeffs)
        return np.sum((imgp_proj.squeeze() - imgp)**2)
    
    # 求解最优fx和rvec
    initial_params = np.concatenate([[initial_fx], initial_rvec.squeeze()])
    result = minimize(reprojection_error, initial_params, method='L-BFGS-B')
    
    # 保存结果
    per_image_fx.append(result.x[0])
    per_image_rvecs.append(result.x[1:4].reshape((3,1)))

# 可选：全局优化畸变系数（固定所有fx、rvec、tvec、cx、cy后执行）

3. 若需用cv2.calibrateCamera近似实现（局限说明） #

如果一定要用cv2.calibrateCamera，仅能实现所有图像共用同一fx=fy的场景（不符合变焦需求），对应的flags组合为：

flags = cv2.CALIB_FIX_ASPECT_RATIO | cv2.CALIB_FIX_PRINCIPAL_POINT | cv2.CALIB_USE_EXTRINSIC_GUESS | cv2.CALIB_FIX_TRANSLATION

各flags作用：

• cv2.CALIB_FIX_ASPECT_RATIO：强制fx=fy
• cv2.CALIB_FIX_PRINCIPAL_POINT：固定cx、cy
• cv2.CALIB_USE_EXTRINSIC_GUESS：使用预先设置的rvecs和tvecs作为初始值
• cv2.CALIB_FIX_TRANSLATION：禁止优化tvecs，保持固定值

此方法仅适合变焦倍率差异极小的场景，无法适配不同变焦倍率的需求。

内容的提问来源于stack exchange，提问作者Mike Azatov