OpenCV图像轮廓排序异常求助：字符检测场景下的排序问题

这个问题我之前做OCR字符排序时也遇到过——带下沉的字符（比如p、g、q）因为外接矩形底部延伸，导致它们的垂直位置被错误判定，直接用外接矩形y坐标或全区域质心排序都会把它们踢到下一行甚至更后面。咱们来拆解问题，一步步解决：

问题根源 #

• 你的外接矩形排序逻辑直接用boundingRect.y或调整后的y值，但p/g的外接矩形整体偏下，会被误判为属于下一行；
• 全区域质心计算包含了下沉部分的像素，质心位置被拉低，同样导致行划分错误。

核心解决方案：基于字符主体的行划分 + 行内左到右排序 #

字符的主体部分（比如p的上半部分）和普通字符处于同一基线，我们可以用这个特性来分组行，再在每行内按x坐标排序，完全避开下沉部分的干扰。

步骤1：定义行基准位置 #

我们可以用外接矩形的基线位置（比如从底部往上偏移1/3高度，对应字符主体的垂直中心偏下）作为行判断的依据，而不是整个外接矩形的y坐标：

// 计算字符的行基准y值（可根据你的字符调整比例，这里取底部往上1/3）
float getRowBaseline(const ContourWithData& cwd) {
    return cwd.boundingRect.y + cwd.boundingRect.height * 0.7f;
}

步骤2：自适应行阈值（可选但推荐） #

为了让排序适配不同大小的字符，先计算所有有效轮廓的平均高度，再用平均高度的1/3作为行判断的阈值（同一行的轮廓基线差小于这个值）：

// 先计算有效轮廓的平均高度
float calculateAverageHeight(const std::vector<ContourWithData>& contourDataVec) {
    float avgHeight = 0.0f;
    int validCount = 0;
    for (const auto& cwd : contourDataVec) {
        if (cwd.checkIfContourIsValid()) {
            avgHeight += cwd.boundingRect.height;
            validCount++;
        }
    }
    return validCount > 0 ? avgHeight / validCount : 0.0f;
}

步骤3：修改排序函数 #

先按行基准分组（同一行的基线差小于阈值），同一行内按x坐标从左到右排序：

// 全局变量或传入阈值，这里用平均高度的1/3作为阈值
float g_rowThreshold = 0.0f;

static bool sortByRowThenX(const ContourWithData& cwdLeft, const ContourWithData& cwdRight) {
    float leftBaseline = getRowBaseline(cwdLeft);
    float rightBaseline = getRowBaseline(cwdRight);
    
    // 判断是否属于同一行
    if (abs(leftBaseline - rightBaseline) < g_rowThreshold) {
        // 同一行：按x坐标左到右排序
        return cwdLeft.boundingRect.x < cwdRight.boundingRect.x;
    } else {
        // 不同行：按基线从上到下排序
        return leftBaseline < rightBaseline;
    }
}

步骤4：使用排序函数 #

在你的代码中先计算阈值，再排序：

// 计算平均高度和行阈值
float avgHeight = calculateAverageHeight(contourDataVec);
g_rowThreshold = avgHeight * 0.33f;

// 排序轮廓
std::sort(contourDataVec.begin(), contourDataVec.end(), sortByRowThenX);

备选优化：改进质心计算 #

如果你想继续用质心方法，可以只计算字符主体区域的质心（跳过下沉部分），避免下沉像素拉低质心位置：

Point findMassCenter(Mat src) {
    int totalX = 0, totalY = 0;
    int cnt = 0;
    // 跳过底部1/3的区域（下沉部分），只计算主体
    int skipBottom = src.rows / 3;
    
    for (int x = 0; x < src.cols; x++) {
        for (int y = 0; y < src.rows - skipBottom; y++) {
            int val = src.at<uchar>(Point(x, y));
            if (val < 240) {
                totalX += x;
                totalY += y;
                cnt++;
            }
        }
    }
    
    // 防止没有主体像素的情况， fallback到全区域质心
    if (cnt == 0) {
        for (int x = 0; x < src.cols; x++) {
            for (int y = 0; y < src.rows; y++) {
                int val = src.at<uchar>(Point(x, y));
                if (val < 240) {
                    totalX += x;
                    totalY += y;
                    cnt++;
                }
            }
        }
    }
    
    return Point(totalX / cnt, totalY / cnt);
}

之后用质心的y值判断行，x值排序即可。

效果验证 #

用这个方法排序后，p、g这类字符会和同一行的普通字符归为一组，按左到右顺序排列，不会再被排到末尾，你可以测试一下调整后的排序结果。

内容的提问来源于stack exchange，提问作者Anže Mur