如何识别图片中的螺丝数量？现有算法精度未达95%求优化

问题描述 #

尝试二值化+膨胀操作未改善效果；使用SIFT+FLANN算法时，无法找到合适的Lowe比值以达到95%的识别精度。

现有实现代码 #

import cv2
import numpy as np

img1 = cv2.imread('20240713_194541.jpg', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('screw.jpg', cv2.IMREAD_GRAYSCALE)

sift = cv2.SIFT_create()

kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)

FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)  # or pass an empty dictionary

flann = cv2.FlannBasedMatcher(index_params, search_params)

matches = flann.knnMatch(des1, des2, k=2)

good_matches = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good_matches.append(m)

img_matches = cv2.drawMatches(img1, kp1, img2, kp2, good_matches, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

cv2.imwrite("match.jpg", img_matches)

针对性优化方案 #

1. 替换预处理策略，强化特征基础

二值化+膨胀对SIFT特征提取帮助有限，建议改用以下预处理：

• 高斯降噪：减少图像噪声对特征点的干扰

  img1 = cv2.GaussianBlur(img1, (3,3), 0)
  img2 = cv2.GaussianBlur(img2, (3,3), 0)
  

• 自适应直方图均衡：提升局部对比度，强化边缘特征

  clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
  img1 = clahe.apply(img1)
  img2 = clahe.apply(img2)
  

2. 调整SIFT参数，提升特征稳定性

默认参数可能适配性不足，手动调整强化特征点质量：

# 增加特征点数量，降低对比度阈值以保留更多弱特征
sift = cv2.SIFT_create(nfeatures=2000, contrastThreshold=0.01, edgeThreshold=10)

3. 优化匹配筛选逻辑，突破Lowe比值瓶颈

Lowe比值并非固定0.7，可结合多重筛选提升精度：

• 动态调整比值：先统计所有匹配对的m.distance/n.distance分布，选择能过滤90%以上错误匹配的阈值（通常在0.6~0.8区间）
• RANSAC单应性校验：剔除不符合空间投影关系的匹配对

  if len(good_matches) > 10:
      src_pts = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1,1,2)
      dst_pts = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1,1,2)
      M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
      matchesMask = mask.ravel().tolist()
      # 仅保留通过校验的匹配对
      good_matches = [good_matches[i] for i in range(len(good_matches)) if matchesMask[i]]
  

4. 替代匹配方案备选

如果SIFT+FLANN仍达不到要求，可尝试：

• ORB算法：免费且速度更快，调整nfeatures和scaleFactor参数适配场景
• 模板匹配+特征匹配组合：先通过模板匹配定位目标大致区域，再在区域内做特征匹配，缩小匹配范围减少错误

内容的提问来源于stack exchange，提问作者Ecstacy