Android OpenCV手持卡片矩形检测算法失效求助

Hey there! 我来帮你分析下为啥手持卡片时原算法检测不到矩形，以及该怎么调整～

原代码是针对平面静止卡片设计的，默认卡片是正对着镜头的轴对齐矩形，但手持场景会带来几个关键问题：

• 透视变形：卡片会变成梯形/不规则四边形，原算法可能只识别轴对齐的矩形
• 背景干扰：手持时背景（手、周围环境）更复杂，边缘检测容易混入大量噪声
• 光照不均：手持时的阴影、反光会导致边缘提取不清晰

针对性的调整方案 #

1. 先优化边缘检测的鲁棒性 #

先给图像做预处理，过滤掉无关噪声：

• 第一步：灰度化+高斯模糊，减少细节噪声对边缘检测的干扰
• 第二步：调整Canny边缘检测的阈值，不要用固定死的数值，根据实际画面微调高低阈值（比如从50/150开始试）

2. 改用「轮廓筛选+四边形判断」的思路 #

放弃直接找矩形，转而从轮廓里筛选最可能是卡片的形状：

• 只提取最外层轮廓（排除手的纹路、背景小杂物的内部轮廓）
• 用轮廓近似算法（approxPolyDP）找出有4个顶点的轮廓（不管是不是轴对齐）
• 再加一层过滤：确保是凸四边形（卡片不会是凹形），同时过滤掉面积太小的轮廓

3. 关键代码片段（核心调整部分） #

private void findRectangleOpen(Bitmap image) throws Exception {
    Mat tempor = new Mat();
    Utils.bitmapToMat(image, tempor);

    // 1. 预处理：灰度化+高斯模糊
    Mat gray = new Mat();
    Imgproc.cvtColor(tempor, gray, Imgproc.COLOR_BGR2GRAY);
    Imgproc.GaussianBlur(gray, gray, new Size(5, 5), 0);

    // 2. Canny边缘检测（可调阈值）
    Mat edges = new Mat();
    Imgproc.Canny(gray, edges, 60, 180);

    // 3. 提取最外层轮廓
    List<MatOfPoint> contours = new ArrayList<>();
    Mat hierarchy = new Mat();
    Imgproc.findContours(edges, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);

    // 4. 遍历筛选卡片轮廓
    for (MatOfPoint contour : contours) {
        double area = Imgproc.contourArea(contour);
        // 过滤小面积噪声（数值根据卡片大小调整）
        if (area < 5000) continue;

        // 轮廓近似，找多边形顶点
        MatOfPoint2f contour2f = new MatOfPoint2f(contour.toArray());
        double perimeter = Imgproc.arcLength(contour2f, true);
        MatOfPoint2f approx = new MatOfPoint2f();
        Imgproc.approxPolyDP(contour2f, approx, 0.02 * perimeter, true);

        // 判断是否是4顶点的凸四边形
        if (approx.rows() == 4 && Imgproc.isContourConvex(new MatOfPoint(approx.toArray()))) {
            // 绘制检测到的卡片轮廓（绿色粗线）
            Imgproc.drawContours(tempor, Collections.singletonList(new MatOfPoint(approx.toArray())), -1, new Scalar(0, 255, 0), 3);
        }
    }

    // 把处理后的Mat转回Bitmap显示
    Utils.matToBitmap(tempor, image);
}

4. 额外小技巧 #

• 尽量让用户在光线均匀、背景简洁的环境测试，减少干扰
• 如果卡片有独特颜色（比如蓝色银行卡），可以先做颜色阈值分割，提取卡片区域后再找轮廓，精准度会更高

内容的提问来源于stack exchange，提问作者starazam