如何基于单通道差异矩阵重构指定RGB图像并替换像素？

问题描述 #

我已经用以下代码计算出两张图像的差异矩阵：

import time
import cv2
from imutils.video import VideoStream
from skimage.metrics import structural_similarity
from skimage.color import rgb2gray

cap = VideoStream(src=0, framerate=30).start()
cap.stream.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.stream.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

time.sleep(2)

image1 = cap.read()
time.sleep(0.1)
image2 = cap.read()

image1_gray = rgb2gray(image1)
image2_gray = rgb2gray(image2)

score, difference = structural_similarity(image1_gray, image2_gray, full=True)

现在需要基于这个差异处理第二张图像，生成尺寸为(480,640,3)的RGB图像——仅保留差异像素（其余为黑色或透明），同时把这些差异像素替换到第一张图像中。但当前得到的difference是单通道(480,640)图像，请问该如何实现？

另外我尝试了以下方法，但结果不符合预期：

encode_params = [int(cv2.IMWRITE_JPEG_QUALITY), 80,
                 int(cv2.IMWRITE_JPEG_PROGRESSIVE), 1]

# 计算差异
diff = cv2.absdiff(frame1, frame2)
_, buffer = cv2.imencode('.jpg', diff, encode_params)

# 重构图像
diff = cv2.imdecode(buffer, cv2.IMREAD_COLOR)
prev_frame[diff != 0] = diff[diff != 0]

解决方案 #

步骤1：处理structural_similarity返回的差异矩阵 #

structural_similarity返回的difference是相似度的反向值，取值范围通常在[0,1]（归一化后），值越接近1表示差异越大。我们需要先把它转换成二值化掩码，用来标记差异区域：

import numpy as np

# 归一化差异矩阵到0-255范围，方便阈值处理
diff_normalized = (1 - difference) * 255
diff_normalized = diff_normalized.astype(np.uint8)

# 设定阈值筛选差异显著的像素（阈值可根据实际场景调整，比如30）
_, diff_mask = cv2.threshold(diff_normalized, 30, 255, cv2.THRESH_BINARY)

# 将单通道掩码扩展为三通道，匹配RGB图像的通道数
diff_mask_3ch = cv2.cvtColor(diff_mask, cv2.COLOR_GRAY2BGR)

步骤2：生成仅保留差异像素的RGB图像 #

用三通道掩码和第二张图像做按位与运算，非差异区域会被置为黑色：

# 生成仅保留差异像素的image2版本（其余区域为黑色）
diff_only_image = cv2.bitwise_and(image2, diff_mask_3ch)

如果需要透明背景，可以生成带Alpha通道的RGBA图像：

# 生成RGBA格式图像，差异区域保留原像素，其余区域透明
diff_only_rgba = cv2.cvtColor(image2, cv2.COLOR_BGR2BGRA)
diff_only_rgba[:, :, 3] = diff_mask  # Alpha通道用掩码赋值，非差异区域Alpha为0

步骤3：将差异像素替换到第一张图像中 #

基于掩码标记的区域，把image2的像素替换到image1对应位置：

# 创建image1的副本，避免修改原图像
image1_replaced = image1.copy()
# 仅在差异掩码为255的区域，替换为image2的像素
image1_replaced[diff_mask_3ch == 255] = image2[diff_mask_3ch == 255]

原方法不符合预期的原因 #

你直接用cv2.absdiff计算RGB图像差异，再通过JPEG编解码处理，会因为JPEG的压缩损失产生大量伪影；而且没有设置阈值过滤微小差异，最终替换时会把很多不必要的像素也替换掉，导致结果不符合预期。

内容的提问来源于stack exchange，提问作者Lorenzo Sciuto