U2Net背景抠除力度过大，如何实现FocoClipping产品类精准抠图效果？

问题描述 #

我目前可通过终端成功使用U2Net完成图像背景抠除，也可通过对应开源仓库提供的易用界面实现相同操作，同时验证两种方式结果的一致性。但我遇到的问题是，针对如下类型的图像，U2Net的背景抠除力度过大：

当前得到的结果如下图所示（外包装区域也被误抠除了）：

我将同一张图上传至Foco clipping网站，选择Type=='Graphic'选项时得到的结果和U2Net完全一致，说明该网站处理图形类图像时采用的是同款算法。但当我选择Type=='Product'选项时，得到的结果如下图所示，完全符合我的预期：

请问有什么方案可以实现上述预期的产品类图像精准抠除效果？

解决方案 #

• 微调U2Net适配产品场景：当前你使用的是通用预训练权重，默认对边缘判定规则偏严格，容易将半透明、浅色系的产品外包装误识别为背景剔除。你可以收集100-200张带真值mask的电商产品图，冻住U2Net底层特征提取层，仅微调顶部mask预测头，训练时调高产品边缘区域的损失权重，即可大幅降低外包装误抠的概率。
• 调整推理参数优化现有效果：无需重新训练也能得到更优结果。首先推理时将mask输出阈值从默认的0.5下调到0.3-0.4，保留更多低置信度的前景区域；其次用形态学开运算处理生成的mask，在清除细碎背景噪点的同时补全产品区域的空洞；最后可增加前景面积校验逻辑，若抠出的前景面积占比低于常规电商产品的合理区间（例如低于30%），自动下调阈值重新生成mask。
• 替换为电商产品专用分割预训练模型：目前有不少公开预训练模型是针对电商产品场景专项训练的，本身默认优先保留完整产品主体，不会将浅色外包装判定为背景，这类模型的推理逻辑和U2Net基本一致，直接替换权重即可使用，适配成本极低。

内容的提问来源于stack exchange，提问作者azal