如何在TensorFlow v2中实现Blind Spot Convolution（盲点卷积）

盲点卷积的核心是让卷积核的中心权重固定为0且不可训练，其余部分保持常规卷积的训练和计算逻辑。以下是主流深度学习框架中的具体实现：

PyTorch 实现 #

通过自定义卷积层，在每次前向传播时强制将卷积核中心元素置0，避免训练过程中该位置被更新：

import torch
import torch.nn as nn

class BlindSpotConv2d(nn.Conv2d):
    def __init__(self, in_channels, out_channels, kernel_size, **kwargs):
        super().__init__(in_channels, out_channels, kernel_size, **kwargs)
        # 盲点卷积要求卷积核大小为奇数，确保存在中心位置
        assert kernel_size % 2 == 1, "Kernel size must be odd for blind spot convolution"
        self.center_idx = kernel_size // 2

    def forward(self, x):
        # 用torch.no_grad()包裹，避免中心权重产生梯度被更新
        with torch.no_grad():
            # 将所有输出通道、输入通道对应的中心权重置0
            self.weight.data[:, :, self.center_idx, self.center_idx] = 0.0
        # 执行常规卷积计算
        return super().forward(x)

TensorFlow/Keras 实现 #

继承Keras的Conv2D层，在call方法中动态修改卷积核，将中心位置置0后再执行卷积：

import tensorflow as tf
from tensorflow.keras.layers import Conv2D

class BlindSpotConv2D(Conv2D):
    def __init__(self, filters, kernel_size, **kwargs):
        super().__init__(filters, kernel_size, **kwargs)
        assert kernel_size % 2 == 1, "Kernel size must be odd for blind spot convolution"
        self.center_idx = kernel_size // 2

    def call(self, inputs):
        # 获取当前卷积核权重
        current_kernel = self.kernel
        # 生成需要置0的中心位置索引
        num_filters = self.filters
        num_in_channels = inputs.shape[-1]
        indices = [
            [filter_idx, in_channel_idx, self.center_idx, self.center_idx]
            for filter_idx in range(num_filters)
            for in_channel_idx in range(num_in_channels)
        ]
        # 将中心位置的权重强制置0
        updated_kernel = tf.tensor_scatter_nd_update(
            current_kernel,
            indices=indices,
            updates=tf.zeros(len(indices), dtype=current_kernel.dtype)
        )
        # 使用修改后的卷积核执行卷积操作
        return tf.nn.conv2d(
            inputs, updated_kernel,
            strides=self.strides,
            padding=self.padding.upper(),
            data_format=self.data_format
        )

关键注意点 #

• 必须确保卷积核大小为奇数，否则不存在中心位置，不符合盲点卷积的定义。
• 不能仅在初始化时将中心权重置0，训练过程中梯度会更新该位置的值，因此需要在每次前向传播时都强制置0。

内容的提问来源于stack exchange，提问作者cmaspi