如何优化OpenCV Python代码实现手部骨骼检测、计数与面积计算？

需求说明 #

• 目标：实现手部骨骼的检测、计数及面积计算
• 适配场景：双手、六指手部图像，背景包含矩形、圆形等形状
• 技术限制：仅使用OpenCV库，禁止使用深度学习框架

示例图像 #

• 双手指骨图像：
• 六指手部图像：

现有代码 #

import cv2
import numpy as np
import matplotlib.pyplot as plt

# 读取图像并转灰度
image = cv2.imread('Testbild3.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
plt.imshow(gray, cmap='gray')

# 高斯模糊
blur = cv2.GaussianBlur(gray, (11, 11), 2)
plt.imshow(blur, cmap='gray')

# Hough圆检测
img = image.copy()
circles = cv2.HoughCircles(blur, cv2.HOUGH_GRADIENT, 1, 40,
                           param1=40, param2=20, minRadius=16, maxRadius=82)
circles = np.uint16(np.around(circles))
for i in circles[0,:]:
    # 绘制外圆
    cv2.circle(img,(i[0],i[1]),i[2],(0,255,0),2)
    # 绘制圆心
    cv2.circle(img,(i[0],i[1]),2,(0,0,255),3)
plt.imshow(img)

当前检测结果 #

改进方案 #

1. 优化前景分割：排除背景干扰 #

仅用灰度和模糊无法有效区分骨骼与背景形状，加入阈值分割+形态学操作强化前景：

# 自适应阈值分割（抗光照变化）
thresh = cv2.adaptiveThreshold(blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
                               cv2.THRESH_BINARY_INV, 11, 2)
# 形态学开运算：去除背景小噪点
kernel = np.ones((3,3), np.uint8)
cleaned = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations=2)
# 形态学闭运算：填充骨骼内部孔洞
cleaned = cv2.morphologyEx(cleaned, cv2.MORPH_CLOSE, kernel, iterations=3)

2. 替换圆检测为轮廓检测：适配不规则骨骼 #

Hough圆检测仅适合圆形目标，改用轮廓检测适配不规则骨骼形态：

# 查找外部轮廓
contours, _ = cv2.findContours(cleaned, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 筛选有效骨骼轮廓（通过面积、宽高比过滤背景形状）
min_area = 500  # 根据实际图像调整
max_area = 50000
valid_contours = []
for cnt in contours:
    area = cv2.contourArea(cnt)
    if min_area < area < max_area:
        x,y,w,h = cv2.boundingRect(cnt)
        aspect_ratio = w/h
        # 过滤接近正方形的背景形状（骨骼多为长条状）
        if 0.2 < aspect_ratio < 2:
            valid_contours.append(cnt)

# 绘制轮廓与外接矩形
result = image.copy()
cv2.drawContours(result, valid_contours, -1, (0,255,0), 2)
for cnt in valid_contours:
    x,y,w,h = cv2.boundingRect(cnt)
    cv2.rectangle(result, (x,y), (x+w,y+h), (255,0,0), 2)

plt.imshow(cv2.cvtColor(result, cv2.COLOR_BGR2RGB))

3. 骨骼计数与面积计算 #

基于筛选后的有效轮廓直接完成统计：

# 骨骼计数
bone_count = len(valid_contours)
print(f"检测到骨骼数量：{bone_count}")

# 总面积计算
total_area = sum(cv2.contourArea(cnt) for cnt in valid_contours)
print(f"骨骼总面积：{total_area} 像素")

4. 适配特殊场景的细节优化 #

• 调整min_area、max_area和aspect_ratio阈值，覆盖不同大小的骨骼
• 若存在重叠轮廓，可使用cv2.watershed算法分割（需先标记前景与背景）
• 加入Canny边缘检测辅助轮廓提取：

edges = cv2.Canny(blur, 50, 150)
# 结合边缘与阈值结果强化轮廓
combined = cv2.bitwise_and(cleaned, edges)

内容的提问来源于stack exchange，提问作者Puff