如何用小页眉页脚模板配准大文本图像，仅保留旋转斜切优化OCR？

一、当前流程的核心问题 #

你用小模板计算单应性矩阵后图像缩小，本质原因是findHomography()是把输入图像中的模板区域精确映射到模板图像的尺寸，整个图像会跟着缩放到模板的尺度——这完全偏离了“校正文档透视畸变”的目标，我们需要的是让整个文档图像恢复正交视角，而不是把图像缩成模板大小。

二、修改单应性矩阵，提取旋转/斜切变换 #

单应性矩阵是3x3齐次矩阵，结构如下：

[ a  b  c ]  # a/b控制x方向缩放/斜切，c是x平移
[ d  e  f ]  # d/e控制y方向缩放/斜切，f是y平移
[ g  h  1 ]

如果要仅保留旋转和斜切，去除缩放和平移，可以按以下步骤处理：

1. 提取线性变换部分：取出矩阵左上角的2x2子矩阵M = [[a,b],[d,e]]，这部分包含了缩放、旋转和斜切信息。
2. 去除缩放因子：计算x/y方向的缩放系数sx = sqrt(a²+d²)、sy = sqrt(b²+e²)，然后将M的每一列除以对应方向的缩放系数，得到归一化后的线性变换矩阵M_norm，这部分就只保留了旋转和斜切。
3. 构造新的单应性矩阵：将平移项（第三列的c、f）设为0，替换线性变换部分为M_norm，得到仅含旋转/斜切的矩阵H_new：

[ M_norm[0][0]  M_norm[0][1]  0 ]
[ M_norm[1][0]  M_norm[1][1]  0 ]
[ 0             0             1 ]

注意：这种方法适合快速去除缩放和平移，但如果输入图像有明显的透视畸变（比如近大远小），仅用旋转/斜切可能无法完全校正，需要结合全局配准。

三、小参考图配准大图的正确思路（推荐） #

既然有固定的页眉和页脚模板，应该利用两者的位置关系来计算全局正交变换，保证整个文档的尺度和排版正确：

• 步骤1：定位模板在输入图像中的位置
  分别匹配页眉模板TH和页脚模板TF，通过特征匹配的对应点，计算出两个模板在输入图像中的完整边界框（比如用cv2.perspectiveTransform()把模板的四个角点映射到输入图像中）。
• 步骤2：定义目标正交坐标系
  目标图像中，页眉的位置与模板TH完全重合，页脚则放在目标图像的底部，中间文本区域的高度根据输入图像中页眉和页脚的垂直距离确定（保证文本比例不变）。
• 步骤3：计算全局单应性矩阵
  收集输入图像中的关键对应点：页眉的四个角点、页脚的四个角点，对应到目标图像中的预设位置，用cv2.findHomography()重新计算单应性矩阵——这个矩阵会把整个输入图像映射到正交的文档尺寸，不会出现缩放问题。

四、代码示例（Python + OpenCV） #

1. 修改单应性矩阵去除缩放和平移 #

import cv2
import numpy as np

def extract_rotation_shear_homography(original_H):
    # 提取线性变换部分
    linear_part = original_H[:2, :2]
    # 计算x、y方向的缩放因子
    sx = np.linalg.norm(linear_part[:, 0])
    sy = np.linalg.norm(linear_part[:, 1])
    # 归一化去除缩放
    normalized_linear = linear_part / np.array([[sx, sy], [sx, sy]])
    # 构造新的单应性矩阵，去除平移
    new_H = np.eye(3, dtype=np.float32)
    new_H[:2, :2] = normalized_linear
    return new_H

# 使用示例
# original_H = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)[0]
# corrected_H = extract_rotation_shear_homography(original_H)
# result = cv2.warpPerspective(input_img, corrected_H, (input_img.shape[1], input_img.shape[0]))

2. 利用页眉页脚做全局配准 #

def global_doc_orthogonalization(input_img, th_template, tf_template):
    # 1. 特征匹配，获取模板在输入图像中的对应点（这里省略特征提取匹配的代码，假设已得到对应点）
    # 假设th_pts是模板TH的四个角点：[[0,0], [w_th,0], [w_th,h_th], [0,h_th]]
    # src_th_pts是输入图像中匹配到的TH的四个角点
    # src_tf_pts是输入图像中匹配到的TF的四个角点
    w_th, h_th = th_template.shape[1], th_template.shape[0]
    w_tf, h_tf = tf_template.shape[1], tf_template.shape[0]

    # 2. 计算目标图像尺寸
    src_th_y = np.mean(src_th_pts[:, 1])
    src_tf_y = np.mean(src_tf_pts[:, 1])
    doc_height = src_tf_y - src_th_y
    target_height = int(doc_height + h_th + h_tf)
    target_width = w_th

    # 3. 定义目标点
    dst_th_pts = np.array([[0,0], [w_th,0], [w_th,h_th], [0,h_th]], dtype=np.float32)
    dst_tf_pts = np.array([[0, target_height - h_tf], [w_th, target_height - h_tf], 
                           [w_th, target_height], [0, target_height]], dtype=np.float32)
    
    # 4. 计算全局单应性矩阵
    src_pts = np.vstack((src_th_pts, src_tf_pts))
    dst_pts = np.vstack((dst_th_pts, dst_tf_pts))
    global_H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

    # 5. 变换图像
    result = cv2.warpPerspective(input_img, global_H, (target_width, target_height))
    return result

内容的提问来源于stack exchange，提问作者bliako