使用cv2.seamlessClone时亮度突变问题的解决方法

问题描述 #

尝试使用cv2.seamlessClone将人脸图像ori_img与皮肤图像mh_skin进行融合，替换非人脸区域为皮肤。代码如下：

br = cv2.boundingRect(tight_mask[:, :, 0])
centerOfBR = (br[0] + br[2] // 2, br[1] + br[3] // 2)
blend_img = cv2.seamlessClone((ori_img * (tight_mask / 255)).astype(np.uint8), mh_skin,
                              tight_mask, centerOfBR, flags=cv2.NORMAL_CLONE)

处理后图像出现剧烈亮度突变，尝试MIXCLONE、MONOCHROME_TRANSFER等其他标志位均无效，仅缩小掩码时亮度变化情况有所改善，寻求解决方法。

原因分析与解决方案 #

1. 统一源图与目标图的亮度/色彩分布 #

seamlessClone对输入图像的色彩、亮度一致性要求极高，两张图的基础亮度差异是导致突变的核心原因之一。可以先调整人脸图像的亮度匹配皮肤图：

# 计算人脸区域的平均亮度
face_gray = cv2.cvtColor(ori_img, cv2.COLOR_BGR2GRAY)
face_masked = face_gray * (tight_mask[:, :, 0] / 255)
face_mean = face_masked[face_masked > 0].mean()

# 计算皮肤图像的平均亮度
skin_mean = cv2.cvtColor(mh_skin, cv2.COLOR_BGR2GRAY).mean()

# 按比例调整人脸图像亮度，确保在0-255范围内
brightness_scale = skin_mean / face_mean
adjusted_ori = np.clip(ori_img * brightness_scale, 0, 255).astype(np.uint8)

# 使用调整后的图像进行无缝克隆
blend_img = cv2.seamlessClone(adjusted_ori, mh_skin, tight_mask[:, :, 0], centerOfBR, cv2.NORMAL_CLONE)

2. 优化掩码边缘，生成软过渡区域 #

缩小掩码能改善效果，说明原掩码边缘过于锐利，seamlessClone的渐变过渡区域不足。可以对掩码做高斯模糊或膨胀+模糊处理，生成软边缘掩码：

# 转单通道掩码（seamlessClone要求8位单通道掩码）
mask_single = tight_mask[:, :, 0]

# 方法1：直接高斯模糊生成软边缘
soft_mask = cv2.GaussianBlur(mask_single, (21, 21), 0)

# 方法2：先膨胀扩大过渡范围，再模糊
kernel = np.ones((5,5), np.uint8)
dilated_mask = cv2.dilate(mask_single, kernel, iterations=1)
soft_mask = cv2.GaussianBlur(dilated_mask, (21, 21), 0)

# 使用软掩码进行融合
blend_img = cv2.seamlessClone(ori_img, mh_skin, soft_mask, centerOfBR, cv2.NORMAL_CLONE)

3. 移除不必要的预处理步骤 #

当前代码中(ori_img * (tight_mask / 255)).astype(np.uint8)会导致人脸区域边缘像素值被强制置0，破坏原有色彩过渡，反而加剧融合突变。直接传入原始人脸图像即可，seamlessClone会自动根据掩码提取有效区域：

# 移除提前乘掩码的步骤，直接传入原ori_img和单通道掩码
blend_img = cv2.seamlessClone(ori_img, mh_skin, tight_mask[:, :, 0], centerOfBR, cv2.NORMAL_CLONE)

4. 先做全局色彩匹配再融合 #

如果亮度调整仍不满足需求，可以先对人脸图像做直方图匹配，让其色彩分布贴近皮肤图像，再进行无缝克隆：

from skimage import exposure

# 直方图匹配，统一色彩分布
matched_ori = exposure.match_histograms(ori_img, mh_skin, channel_axis=-1).astype(np.uint8)

# 后续无缝克隆操作
blend_img = cv2.seamlessClone(matched_ori, mh_skin, tight_mask[:, :, 0], centerOfBR, cv2.NORMAL_CLONE)

内容的提问来源于stack exchange，提问作者menghua wu