如何自动检测图像特定特征映射到掩码并平滑替换后图像的生硬边缘

嘴部形状对齐偏差解决方案 #

你已经在使用dlib库，可以直接基于嘴部关键点做仿射变换对齐，替代当前的单纯等比缩放，适配不同嘴型的形状差异：

• 分别提取colorlip和masked两张图中对应嘴部的dlib 68特征点里的第49~68号（嘴部专属关键点）
• 调用cv2.estimateAffinePartial2D()或者cv2.findHomography()计算两张图嘴部关键点的变换矩阵，支持平移、旋转、缩放、错切四种变换，完全适配嘴型形状差异
• 用得到的变换矩阵对colorlip做变换，使其形状和masked的嘴部区域完全对齐后再做替换操作

参考代码片段：

# 提取两张图的嘴部关键点，points_lip是colorlip的嘴部关键点，points_target是masked的嘴部关键点
points_lip = np.array(landmarks_lip[48:68], dtype=np.float32)
points_target = np.array(landmarks_target[48:68], dtype=np.float32)
# 计算仿射变换矩阵
M, _ = cv2.estimateAffinePartial2D(points_lip, points_target)
# 对colorlip做仿射变换，适配masked的形状
aligned_lip = cv2.warpAffine(scaled_lip, M, (target_w, target_h))

掩码边缘生硬解决方案 #

替换当前的np.where硬像素替换逻辑，改用边缘羽化+alpha加权融合的方式实现自然过渡：

• 先将掩码转换为单通道alpha权重图：嘴部区域（原mask黑色部分）权重设为1，背景区域（原mask白色部分）权重设为0
• 对alpha权重图做高斯模糊生成过渡带，alpha = cv2.GaussianBlur(alpha, (7,7), 3)，高斯核尺寸取奇数，数值越大边缘过渡越柔和
• 按权重做融合，替代硬替换：

# 把alpha扩展为3通道和图像匹配
alpha_3ch = np.stack([alpha]*3, axis=-1)
update = alpha_3ch * aligned_lip + (1 - alpha_3ch) * target
update = update.astype(np.uint8)

如果只需要平滑边角，可以先提取掩码的轮廓，仅对轮廓周边的像素做羽化处理，无需处理整张掩码区域。

内容的提问来源于stack exchange，提问作者r_k_y