RGB图像独立通道2D卷积实现结果异常求技术排查

我尝试对RGB图像的每个通道独立应用2D卷积来实现卷积操作，但得到的结果图像色彩紊乱、效果异常。以下是我的实现代码：

import numpy as np

kernel = np.array(
    [
        [1,0,1],
        [0,0,0],
        [1,0,0]
    ])
image=images[1]
Hi, Wi, Ci= image.shape
Hk, Wk = kernel.shape
paddingHk = Hk//2
paddingWk = Wk//2
        
new_img = np.pad(image, [(paddingHk, paddingWk),(paddingHk, paddingWk),(0,0)], 'constant', \
                          constant_values=[(0, 0),(0,0),(0,0)])
        
pHi, pWi, cWi= new_img.shape
flipkernel = np.flip(kernel)
    
out = np.zeros((Hi, Wi, Ci))
for k in range(Ci):          
        for i in range(paddingHk, pHi-paddingHk):
                for j in range(paddingWk, pWi-paddingWk):
                    b = new_img[i-paddingHk:i+paddingHk+1, j-paddingWk:j+paddingWk+1,:]
                    out[i-paddingHk][j-paddingWk][k] = np.sum(b[:,:,k]*flipkernel)

out = np.clip(out, 0, 1)
display(out)

问题分析 #

1. 图像数值范围未处理：如果原始图像是0-255的uint8类型，直接卷积后数值会远大于1，np.clip(out, 0, 1)会把所有超过1的像素截断为1，导致图像大面积变白或色彩异常。
2. padding参数写法混淆：虽然数值上没问题，但[(paddingHk, paddingWk),(paddingHk, paddingWk)]的写法容易误解，高度和宽度方向的padding应该统一为上下/左右各paddingHk（因为kernel是3x3，paddingHk=paddingWk=1）。
3. 卷积结果未合理缩放：卷积核的权重和为3（1+1+1），卷积后结果会被放大，直接截断会丢失细节。

修正后的代码 #

import numpy as np

# 定义卷积核
kernel = np.array(
    [
        [1,0,1],
        [0,0,0],
        [1,0,0]
    ])
# 处理图像数值范围：将0-255的uint8转为0-1的float32
image = images[1].astype(np.float32) / 255.0
Hi, Wi, Ci = image.shape
Hk, Wk = kernel.shape
paddingH = Hk // 2
paddingW = Wk // 2

# 正确设置padding：高度上下各paddingH，宽度左右各paddingW
new_img = np.pad(image, 
                 [(paddingH, paddingH), 
                  (paddingW, paddingW), 
                  (0, 0)], 
                 'constant', 
                 constant_values=0)

# 翻转卷积核（标准卷积需要翻转，若实现互相关可省略此步）
flip_kernel = np.flip(kernel)

out = np.zeros((Hi, Wi, Ci))
for k in range(Ci):          
    for i in range(paddingH, new_img.shape[0] - paddingH):
        for j in range(paddingW, new_img.shape[1] - paddingW):
            # 提取当前通道的卷积窗口
            window = new_img[i-paddingH:i+paddingH+1, j-paddingW:j+paddingW+1, k]
            # 计算卷积并赋值
            out[i-paddingH, j-paddingW, k] = np.sum(window * flip_kernel)

# 方案1：通过卷积核权重和缩放结果
kernel_sum = np.sum(kernel)
if kernel_sum != 0:
    out = np.clip(out / kernel_sum, 0, 1)
# 方案2：min-max归一化到0-1（适用于核权重和为0的情况，比如边缘检测核）
# out = (out - out.min()) / (out.max() - out.min()) if out.max() != out.min() else out

display(out)

关键修正点 #

• 图像归一化：先将原始图像转为0-1的浮点型，避免卷积后数值溢出。
• 结果缩放：通过除以卷积核的权重和，将结果缩回到0-1区间，保留图像细节；若核权重和为0（如边缘检测核），则使用min-max归一化。
• 代码可读性优化：统一padding参数命名，简化索引逻辑。

内容的提问来源于stack exchange，提问作者ZeL