如何将凹形掩码分割为凸子区域以生成精准目标边界框？

问题 #

我在用一个目标检测模型，模型效果不错，但输出是掩码（mask），而我需要的是边界框（bounding boxes）。直接用OpenCV围绕掩码轮廓画边界框的话，碰到凹度大的掩码，框里会包含大量非掩码区域。

我已经能用凸包（convex hull）判断掩码是不是凹形，但不知道怎么把凹形掩码分割成凸子区域。我允许边界框重叠，但不想框里包含太多非掩码区域。

有没有简单的启发式方法能把边界框分割成子框？或者能不能用优化器找到一组能大致填充给定轮廓的1个或多个矩形？

掩码示例说明 #

• 示例1：大物体需分割为2-3个矩形，小物体保持原样（掩码为类似人形的形状，手臂伸展，整体凹度明显）
• 示例2：大物体分割为2个矩形即可，最多不超过5个（掩码为长条形带分支的形状）
• 示例3：大物体分割为2个矩形最佳，小物体保持原样（掩码为主体带突出部分的形状）

当前问题演示代码 #

import numpy as np
import cv2
import requests
from PIL import Image, ImageDraw
from io import BytesIO

response = requests.get('https://i.sstatic.net/d771v.png')
image = Image.open(BytesIO(response.content)).convert('RGB')
image_array = np.array(image.convert('L'))
contours, _ = cv2.findContours(image_array, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

draw = ImageDraw.Draw(image)
for contour in contours:
    x1, y1, w, h = cv2.boundingRect(contour)
    x2 = x1 + w
    y2 = y1 + h
    draw.rectangle([(x1, y1), (x2, y2)], outline="red", width=3)
image.show()

当前效果问题 #

当前生成的边界框会把大物体的“手臂”和主体框在一起，包含大量空白区域，我希望能把“手臂”部分单独框出来。

解决方案 #

一、启发式分割方法（简单易实现） #

这些方法不需要复杂计算，适合快速落地：

1. 凹点导向分割
   利用掩码轮廓的凸包缺陷找到关键凹点，这些凹点就是天然的分割分界：

   • 用cv2.convexityDefects提取凸包缺陷，过滤掉小缺陷（根据距离阈值，比如只保留深度超过50像素的缺陷）。
   • 针对每个有效凹点，沿着水平或垂直方向切割掩码，把大区域拆成子区域后再分别计算边界框。比如人形掩码的手臂和主体连接处的凹点，垂直切割就能单独框出手臂。

2. 滑动窗口+覆盖率筛选
   不用依赖轮廓特征，适合不规则凹形：

   • 定义不同尺寸的滑动窗口（比如原始边界框的1/3到2/3大小），在掩码区域内滑动。
   • 计算每个窗口内掩码像素的占比（覆盖率），保留覆盖率超过阈值（比如80%）的窗口，再用非极大值抑制（NMS）去掉重叠度过高的窗口。

3. 递归矩形切割
   从最小外接矩形出发，递归分割直到满足覆盖率要求：

   • 先对整个掩码做cv2.minAreaRect得到最小外接矩形，如果这个矩形的掩码覆盖率不够高，就沿着长边或短边中点切割成两个子矩形。
   • 对每个子矩形重复检查覆盖率，直到所有子矩形的覆盖率达标，或者子框数量达到上限。

二、优化器方法（精度更高） #

如果需要更精准的矩形集合，可以用优化思路：

1. 贪心迭代优化

   • 初始用原始边界框，计算其掩码覆盖率。如果不达标，就在当前框内生成所有可能的子框（比如按1/2、1/3分割），选覆盖率最高的子框加入结果，然后从掩码中减去该子框覆盖的区域，重复直到剩余区域达标或子框数量到上限。

2. 目标函数优化
   把问题转化为数学优化：找到K个矩形，最大化掩码覆盖占比，同时最小化非掩码覆盖占比。可以用scipy.optimize定义目标函数求解，这种方法精度高，但计算量较大，适合离线处理。

三、凹点分割代码示例 #

下面是一个简单的实现片段：

import numpy as np
import cv2

# 假设已加载二值掩码图像为image_array
contours, _ = cv2.findContours(image_array, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for contour in contours:
    # 计算凸包和凸包缺陷
    hull = cv2.convexHull(contour, returnPoints=False)
    defects = cv2.convexityDefects(contour, hull)
    
    if defects is not None:
        valid_defects = []
        # 过滤小缺陷（距离阈值可调整）
        for i in range(defects.shape[0]):
            s, e, f, d = defects[i, 0]
            if d > 50 * 256:  # d的单位是像素*256
                far = tuple(contour[f][0])
                valid_defects.append(far)
        
        if valid_defects:
            # 取最右侧的凹点作为垂直切割线
            cut_x = max(valid_defects, key=lambda p: p[0])[0]
            # 分割为左右子掩码
            left_mask = image_array[:, :cut_x]
            right_mask = image_array[:, cut_x:]
            
            # 分别计算左右子掩码的边界框
            left_contours, _ = cv2.findContours(left_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            right_contours, _ = cv2.findContours(right_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            
            # 绘制边界框（可参考原脚本的绘制逻辑）
            # 这里省略具体绘制代码

内容的提问来源于stack exchange，提问作者Zach