基于OpenCV的实例分割对象着色：保留色彩强度方案问询

我正在做实例语义分割，核心需求是修改图像中检测对象的颜色。已经拿到了目标mask，但着色时没法保留原物体的色彩强度（渐变、明暗），导致效果生硬不自然。以墙体mask为例，希望着色后的墙体能还原原有的明暗渐变效果。

之前试过cv2.min方法，还有将mask区域的原图归一化后和目标颜色相乘的方式，效果有改善，但想找更优的方案。

原代码如下：

color = (195, 123, 150)
rgb[markers == clicked_pixel] = color 
rgb = cv2.min(rgb, rgb_copy)
# alternatively 
rgb[markers == clicked_pixel] = color * (rgb_copy[markers == clicked_pixel]/255)

painted = pygame.surfarray.make_surface(rgb)
painted = pygame.transform.scale(painted, size)
display.blit(painted, (0, 0))

推荐优化方案 #

1. HSV颜色空间替换（精准保留明度） #

将图像转换到HSV空间，仅替换目标区域的色相（H）和饱和度（S），完全保留原图像的明度（V）通道，这是最直接保留明暗渐变的方案：

import cv2
import numpy as np

# rgb_copy为原始图像，markers为实例分割mask，clicked_pixel是目标实例的标记值
hsv = cv2.cvtColor(rgb_copy, cv2.COLOR_RGB2HSV)
target_mask = (markers == clicked_pixel)

# 将目标RGB颜色转为HSV格式
target_rgb = np.array([[195, 123, 150]], dtype=np.uint8)
target_hsv = cv2.cvtColor(target_rgb, cv2.COLOR_RGB2HSV)[0][0]

# 替换mask区域的H和S通道，保留原V通道
hsv[target_mask, 0] = target_hsv[0]
hsv[target_mask, 1] = target_hsv[1]

# 转回RGB空间
result_rgb = cv2.cvtColor(hsv, cv2.COLOR_HSV2RGB)

# pygame渲染部分
painted = pygame.surfarray.make_surface(result_rgb)
painted = pygame.transform.scale(painted, size)
display.blit(painted, (0, 0))

2. 灰度加权混合（柔和过渡效果） #

基于原图像的灰度值作为权重，让目标颜色与原图像素进行加权混合，实现更自然的色彩过渡：

import numpy as np

color = np.array((195, 123, 150), dtype=np.float32)
rgb_float = rgb_copy.astype(np.float32)
target_mask = (markers == clicked_pixel)

# 提取原区域灰度值作为权重（归一化到0-1）
gray = cv2.cvtColor(rgb_copy, cv2.COLOR_RGB2GRAY)
weight = gray[target_mask] / 255.0
# 扩展为3通道权重，匹配RGB维度
weight_3d = np.stack([weight]*3, axis=-1)

# 混合计算：目标颜色*权重 + 原像素*(1-权重)，可根据需求调整权重占比
mixed_pixels = color * weight_3d + rgb_float[target_mask] * (1 - weight_3d)
rgb_float[target_mask] = mixed_pixels

# 转回uint8格式
result_rgb = rgb_float.astype(np.uint8)

# pygame渲染部分
painted = pygame.surfarray.make_surface(result_rgb)
painted = pygame.transform.scale(painted, size)
display.blit(painted, (0, 0))

3. 分区域精细控制（高光/阴影单独处理） #

针对原图像的高光、阴影、中间调区域分别设置着色参数，进一步提升真实感：

import cv2
import numpy as np

hsv = cv2.cvtColor(rgb_copy, cv2.COLOR_RGB2HSV)
v_channel = hsv[..., 2]
target_mask = (markers == clicked_pixel)

# 划分高光、阴影、中间调区域
highlight_mask = (v_channel > 200) & target_mask
shadow_mask = (v_channel < 50) & target_mask
midtone_mask = target_mask & ~highlight_mask & ~shadow_mask

# 目标HSV颜色
target_rgb = np.array([[195, 123, 150]], dtype=np.uint8)
target_hsv = cv2.cvtColor(target_rgb, cv2.COLOR_RGB2HSV)[0][0]
result_rgb = rgb_copy.copy()

# 高光区域：降低饱和度，保留原高光细节
hsv[highlight_mask, 0] = target_hsv[0]
hsv[highlight_mask, 1] = 100  # 降低饱和度避免过艳
result_rgb[highlight_mask] = cv2.cvtColor(hsv, cv2.COLOR_HSV2RGB)[highlight_mask]

# 阴影区域：提高明度，避免着色后过暗
hsv[shadow_mask, 0] = target_hsv[0]
hsv[shadow_mask, 2] = np.clip(hsv[shadow_mask, 2] + 30, 0, 255)
result_rgb[shadow_mask] = cv2.cvtColor(hsv, cv2.COLOR_HSV2RGB)[shadow_mask]

# 中间调区域：直接替换色相与饱和度
hsv[midtone_mask, 0] = target_hsv[0]
hsv[midtone_mask, 1] = target_hsv[1]
result_rgb[midtone_mask] = cv2.cvtColor(hsv, cv2.COLOR_HSV2RGB)[midtone_mask]

# pygame渲染部分
painted = pygame.surfarray.make_surface(result_rgb)
painted = pygame.transform.scale(painted, size)
display.blit(painted, (0, 0))

内容的提问来源于stack exchange，提问作者Bartłomiej Pałus