基于Felzenszwalb分割的UT数据集人体二值轮廓提取难题求助

问题背景 #

处理公开UT交互数据集图像时，目标是提取人体的二值轮廓。目前采用Felzenszwalb分割算法，结合阈值筛选（排除低灰度均值、过大面积/宽高的区域）与形态学腐蚀操作，但最终结果仍残留非人体分割块。调整分割参数、阈值条件或形态学迭代次数仅对部分图像有效，无法实现自动化处理；分割前尝试双边滤波去噪，效果未达预期。

相关图像展示 #

• 原始图像：
  

• Felzenszwalb分割结果（参数：scale=200、sigma=0.8）：
  

• 阈值筛选后二值图像：
  

• 形态学腐蚀后最终结果：
  

核心问题分析 #

Felzenszwalb算法依赖像素强度与空间邻近性分割，对复杂背景的鲁棒性不足；仅靠灰度均值、面积、宽高的阈值规则，无法区分与人体特征相似的非人体区域；形态学操作仅能处理边缘细节，无法从根源消除误分割的区域。

优化方案 #

1. 优先采用深度学习模型（自动化处理首选） #

针对人体分割任务，预训练的语义/实例分割模型（如DeepLabV3+、Mask R-CNN）对人体区域的识别精度远高于传统算法，可直接输出精准的人体二值掩码，完全适配UT数据集的自动化处理需求。只需加载预训练权重，输入图像即可得到结果，无需手动调参。

2. 传统方法优化（若需避免深度学习依赖） #

若坚持使用传统计算机视觉方法，可从以下维度改进：

• 颜色空间辅助筛选：将图像从RGB转换为YCrCb或HSV空间，利用人体肤色在Cr/Cb通道的分布特征，增加肤色判断条件，过滤非人体区域；
• 丰富区域特征维度：在原有筛选条件基础上，增加区域的纵横比（多数人体区域纵横比>1）、圆形度（人体轮廓圆形度较低）、与图像中心的距离（UT数据集人体多位于画面中心区域）等特征，提升筛选精度；
• 后处理逻辑升级：采用连通区域分析，保留图像中面积最大的连通域（通常为人体），再用形态学开运算（先腐蚀后膨胀）去除残留小噪点，同时保留人体轮廓完整性。

优化后代码示例（传统方法） #

import numpy as np
import cv2
import skimage.segmentation as seg
from skimage.color import rgb2gray, rgb2ycbcr
from skimage.measure import regionprops, label

def morphological_post_processing(binary_silhouette):
    # 形态学开运算：先腐蚀去噪，再膨胀恢复轮廓
    kernel = np.ones((3, 3), np.uint8)
    binary_silhouette = cv2.morphologyEx(binary_silhouette, cv2.MORPH_OPEN, kernel, iterations=1)
    return binary_silhouette

def felzenszwalb_segmentation(rgb_image):
    segments = seg.felzenszwalb(rgb_image, scale=200, sigma=0.8, min_size=50)
    return segments

def create_binary_silhoutte(image_segments, image):
    gray_image = rgb2gray(image)
    # 转换到YCrCb空间提取肤色特征
    ycbcr_image = rgb2ycbcr(image)
    cr_channel = ycbcr_image[:, :, 1]
    cb_channel = ycbcr_image[:, :, 2]
    
    binary_image = np.zeros_like(gray_image, dtype=np.uint8)
    img_height, img_width = gray_image.shape
    center_y, center_x = img_height // 2, img_width // 2

    for region in regionprops(image_segments, intensity_image=gray_image):
        mean_intensity = region.mean_intensity
        area = region.area
        min_row, min_col, max_row, max_col = region.bbox
        height = max_row - min_row
        width = max_col - min_col
        aspect_ratio = height / width if width != 0 else 0
        
        # 计算区域中心与图像中心的距离
        region_center_y = (min_row + max_row) // 2
        region_center_x = (min_col + max_col) // 2
        distance_to_center = np.sqrt((region_center_y - center_y)**2 + (region_center_x - center_x)**2)
        
        # 提取区域内的Cr/Cb均值
        region_mask = (image_segments == region.label)
        mean_cr = np.mean(cr_channel[region_mask])
        mean_cb = np.mean(cb_channel[region_mask])
        
        # 综合筛选条件：灰度+面积+纵横比+肤色+中心距离
        if (mean_intensity > 0.45 
            and 500 < area < 50000 
            and 0.8 < aspect_ratio < 3  # 适配站立/坐姿人体
            and (135 < mean_cr < 180 and 85 < mean_cb < 135)  # 肤色范围
            and distance_to_center < img_width // 2):  # 限制在中心区域
            binary_image[region_mask] = 255

    # 保留最大连通域
    labeled_img = label(binary_image)
    regions = regionprops(labeled_img)
    if regions:
        largest_region = max(regions, key=lambda x: x.area)
        binary_image = np.zeros_like(binary_image)
        binary_image[labeled_img == largest_region.label] = 255
    
    return binary_image

if __name__ == "__main__":
    image_path = "your_image_path.jpg"  # 替换为你的图像路径
    image = cv2.imread(image_path)
    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # skimage默认RGB
    
    segments = felzenszwalb_segmentation(image_rgb)
    binary_silhouette = create_binary_silhoutte(segments, image_rgb)
    
    binary_silhouette = morphological_post_processing(binary_silhouette)
    
    cv2.imshow("Optimized Binary Silhouette", binary_silhouette)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

内容的提问来源于stack exchange，提问作者Hamdan Azhar