iOS Swift下基于OpenCV与Vision实现指甲检测及颜色叠加遇阻求助

我正尝试从手部图像中检测指甲，并在检测到的指甲区域叠加颜色。目前已尝试使用OpenCV、Vision等多种方案，但均未得到理想结果。

已尝试的OpenCV实现 #

+ (UIImage *)detectAndColorNailsInImage:(UIImage *)image withColor:(UIColor *)color {
cv::Mat inputMat;
UIImageToMat(image, inputMat);

// Convert the image to grayscale
cv::Mat grayscaleMat;
cv::cvtColor(inputMat, grayscaleMat, cv::COLOR_BGR2GRAY);

// Apply Gaussian blur to reduce noise
cv::Mat blurredMat;
cv::GaussianBlur(grayscaleMat, blurredMat, cv::Size(5, 5), 0);

// Apply thresholding to extract nails
cv::Mat thresholdMat;
cv::threshold(grayscaleMat, thresholdMat, 100, 255, cv::THRESH_TRIANGLE);
UIImage *outpqutImage = MatToUIImage(thresholdMat);

// Find contours
std::vector<std::vector<cv::Point>> contours;
cv::findContours(thresholdMat, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

// Draw contours on the original image
for (int i = 0; i < contours.size(); ++i) {
    // Calculate contour area
    double area = cv::contourArea(contours[i]);

    // If the contour area is smaller than a threshold, it's likely not a nail
    if (area < 100) {
        continue;
    }

    // Draw contours with the specified color
    cv::drawContours(inputMat, contours, i, cv::Scalar(255, 0, 0), 2);
}

UIImage *outputImage = MatToUIImage(inputMat);
return outputImage;}

已尝试的Vision框架实现 #

func vision(){
    var rgbaIn = UIImage(named: "nail2.jpeg")!

    guard let ciImage = CIImage(image: rgbaIn) else {
        // Handle error
        return
    }

    let request = VNDetectHumanHandPoseRequest()
    let handler = VNImageRequestHandler(ciImage: ciImage)
    do {
        try handler.perform([request])
    } catch {
        print("Error: \(error)")
        return
    }
    guard let observations = request.results else {
        // No hand pose observations found
        
        return
    }
    
    for observation in observations {
        guard let handLandmarks = try? observation.recognizedPoints(.all) else {
            continue
        }
        
        // Iterate through the recognized hand landmarks
        for (jointName, points) in handLandmarks {
            // Check if the joint corresponds to a finger tip
            if jointName == .indexTip || jointName == .middleTip || jointName == .ringTip || jointName == .littleTip {
                // Iterate through the detected points for this joint
                rgbaIn = overlayColor(on: rgbaIn, at: points.location, color: UIColor.red)
                print(rgbaIn)
            }
        }

        // Use the overlayedImage for further processing or display
    }

}

// Function to overlay color on the image at a specific position
func overlayColor(on image: UIImage, at position: CGPoint, color: UIColor) -> UIImage {
    // Begin image context
    UIGraphicsBeginImageContextWithOptions(image.size, false, image.scale)
    defer { UIGraphicsEndImageContext() }
    
    // Draw the original image
    image.draw(at: .zero)
    
    // Set the color
    color.setFill()
    
    // Create a CGRect with a small size (representing the nail)
    let nailRect = CGRect(x: position.x - 5, y: position.y - 5, width: 50  , height: 50)
    
    // Fill the CGRect with color
    UIRectFill(nailRect)
    
    // Get the overlaid image from the context
    guard let overlayedImage = UIGraphicsGetImageFromCurrentImageContext() else {
        return image
    }
    
    return overlayedImage
}

针对OpenCV方案的优化 #

• 修正阈值逻辑：当前代码生成了模糊后的blurredMat但未使用，应该用模糊图像做阈值处理以减少噪声。若指甲与皮肤对比度低，可替换为THRESH_OTSU自动阈值或cv::adaptiveThreshold自适应阈值。
• 换用更合适的颜色空间：灰度转换会丢失颜色特征，可尝试转HSV或YCrCb空间，先过滤肤色区域，反向提取指甲的颜色范围，提升分割准确性。
• 增强轮廓过滤规则：除面积外，添加轮廓长宽比（指甲多为细长形，长宽比通常>1.5）、凸度、外接矩形比例等判断；用cv::convexHull计算凸包，排除不规则的非指甲轮廓。
• 实现区域填充：将cv::drawContours的厚度参数设为-1，填充整个轮廓区域，还可通过混合模式设置透明度，避免完全覆盖原图细节。

针对Vision框架方案的优化 #

• 精准估算指甲区域：Vision返回的指尖点只是单个坐标，固定大小矩形误差大。可结合指尖、indexDIP（指尖下关节）、indexPIP（中关节）的位置，估算指甲的范围：长度约为指节间距的1/3，宽度略小于指尖到指侧的距离。
• 结合局部图像分割：在指尖附近的ROI（感兴趣区域）内，再用颜色阈值或边缘检测细化指甲边界，提升区域准确性。
• 修正坐标系统：确认Vision返回的坐标与UIKit坐标系是否一致（UIKit原点在左上角，Vision基于图像原生坐标系），避免矩形位置偏移。
• 优化绘制性能：当前循环中每次调用overlayColor都会重绘整个图像，建议先收集所有指甲区域，一次性在图像上下文完成绘制。

进阶方向 #

• 使用预训练语义分割模型：基于MobileNetV2、DeepLab等轻量级模型做迁移学习，专门针对指甲检测训练，能更好处理复杂场景（如不同肤色、光线）。
• 多模态融合：先用Vision定位手部骨骼关键点，缩小OpenCV的检测范围，只在指尖附近区域做指甲分割，兼顾准确率与速度。

内容的提问来源于stack exchange，提问作者Zღk