OCR模型评估：如何计算字符级混淆矩阵并处理对齐难题？

核心思路：基于编辑路径的字符对齐 #

Levenshtein距离的核心价值不仅是计算字符串相似度，更在于能输出最优编辑操作序列（插入、删除、替换），通过这个序列可以将真实标签与预测结果对齐为等长序列，从而实现逐字符的混淆统计。具体步骤如下：

• 对每一组真实字符串（记为src）和预测字符串（记为pred），通过动态规划求解Levenshtein编辑路径，记录每个位置的操作类型：
  1. 替换：src[i] → pred[j]，对齐为(src[i], pred[j])
  2. 删除：src[i]被漏识别，对齐为(src[i], ∅)（∅表示空占位符）
  3. 插入：pred[j]是多余识别的字符，对齐为(∅, pred[j])
• 针对空格的特殊处理：如果任务中空格是有效字符，直接将其当作普通字符参与对齐；如果空格属于格式噪声，可先对src和pred做预处理（比如合并连续空格、去除首尾空格），再进行对齐统计。

优化方案：加权编辑距离适配OCR错误模式 #

由于OCR中空格的增删错误远多于普通字符的替换，可使用加权Levenshtein距离调整操作代价，让对齐结果更贴合实际错误：

• 给空格的插入/删除操作设置更低的代价（比如普通字符删除代价为1，空格删除代价为0.5），这样动态规划会优先匹配非空格字符，避免将正常字符的匹配误判为空格的编辑操作。
• 对于易混淆字符对（比如O和0、l和1），可降低其替换代价，让对齐算法优先识别这类相似字符的替换，而非误判为插入/删除。

分层混淆矩阵统计 #

为了清晰区分普通字符与空格的错误情况，可构建分层统计的混淆矩阵：

1. 普通字符混淆矩阵：仅统计非空格字符的替换、正确匹配情况，行对应真实字符，列对应预测字符，对角线为正确预测频次。
2. 空格专项统计：单独记录空格的三类错误：
   • 空格被删除：真实存在空格但未识别到的次数
   • 空格被插入：真实无空格但误识别出空格的次数
   • 空格被替换：真实空格被误判为其他字符的次数，或其他字符被误判为空格的次数

工程化实现参考 #

主流OCR评估工具已内置这类逻辑，你可以直接复用核心逻辑：

• 用动态规划实现带路径回溯的Levenshtein算法，输出每一步的编辑操作
• 遍历所有样本的对齐结果，用二维字典或数组统计每个(真实字符, 预测字符)对的频次
• 最终将统计结果整理为矩阵形式，行/列包含所有出现过的字符及空占位符∅，直观展示各字符的误判分布

内容的提问来源于stack exchange，提问作者Lukas W.