在TensorFlow Keras中如何按特定方式应用Convolutional Kernel？

从你描述的Step1到Step3的滑动逻辑来看，这本质是步长为1的滑动窗口卷积——卷积核逐像素遍历输入矩阵的所有有效区域。以下是几种适配的实现策略：

1. 用标准Conv2D层（最推荐） #

如果你的卷积核是可训练权重，或者需要自定义固定权重，直接用Keras内置的Conv2D层就能满足需求：

• 步长设为(1,1)（默认值，对应逐次滑动）
• 根据需求选择padding：
  • 若只处理输入矩阵的有效区域（不补零），用padding="valid"
  • 若需要输出尺寸和输入一致，用padding="same"
• 自定义固定核权重时，通过kernel_initializer赋值即可。

示例代码：

import tensorflow as tf

# 假设输入是单通道矩阵，形状为(batch_size, 高度, 宽度, 1)
# 定义3x3卷积层，输出通道数为1
conv_layer = tf.keras.layers.Conv2D(
    filters=1,
    kernel_size=(3, 3),
    strides=(1, 1),
    padding="valid",
    # 自定义卷积核权重，替换成你需要的数值
    kernel_initializer=tf.constant_initializer([[1, 0, -1], [1, 0, -1], [1, 0, -1]])
)

# 测试输入（比如5x5的单通道矩阵）
test_input = tf.random.normal((1, 5, 5, 1))
output = conv_layer(test_input)
print(output.shape)  # 输出形状为(1, 3, 3, 1)，对应所有有效滑动窗口的计算结果

2. 手动提取滑动窗口（适配特殊规则） #

如果标准卷积的逻辑不满足你的特殊滑动需求（比如非矩形窗口、非均匀步长），可以用tf.image.extract_patches提取所有滑动窗口，再手动和卷积核做运算：

示例代码：

import tensorflow as tf

# 输入矩阵（batch=1，5x5单通道）
input_matrix = tf.random.normal((1, 5, 5, 1))
# 自定义卷积核，转成适配的维度(核高, 核宽, 输入通道, 输出通道)
kernel = tf.constant([[1, 0, -1], [1, 0, -1], [1, 0, -1]], dtype=tf.float32)
kernel = tf.reshape(kernel, (3, 3, 1, 1))

# 提取所有3x3的滑动窗口，步长1
patches = tf.image.extract_patches(
    images=input_matrix,
    sizes=[1, 3, 3, 1],
    strides=[1, 1, 1, 1],
    rates=[1, 1, 1, 1],
    padding="VALID"
)

# 重新调整维度后和卷积核做矩阵乘法，再恢复输出形状
patches = tf.reshape(patches, (-1, 3, 3, 1))
output = tf.matmul(patches, kernel)
output = tf.reshape(output, (1, 3, 3, 1))

3. 自定义Keras层（复用复杂逻辑） #

如果需要将该卷积逻辑封装成可复用的组件，可继承tf.keras.layers.Layer实现自定义层：

import tensorflow as tf

class CustomSlidingConv(tf.keras.layers.Layer):
    def __init__(self, kernel_size=(3, 3), strides=(1, 1), padding="valid"):
        super().__init__()
        self.kernel_size = kernel_size
        self.strides = strides
        self.padding = padding.upper()
        # 定义可训练卷积核，若需固定权重可替换initializer
        self.kernel = self.add_weight(
            shape=(*kernel_size, 1, 1),
            initializer="glorot_uniform",
            trainable=True
        )

    def call(self, inputs):
        # 提取滑动窗口
        patches = tf.image.extract_patches(
            images=inputs,
            sizes=[1, *self.kernel_size, 1],
            strides=[1, *self.strides, 1],
            rates=[1, 1, 1, 1],
            padding=self.padding
        )
        # 计算卷积结果
        patches = tf.reshape(patches, (-1, *self.kernel_size, 1))
        conv_result = tf.matmul(patches, self.kernel)
        # 恢复输出形状
        batch_size = tf.shape(inputs)[0]
        out_h = (tf.shape(inputs)[1] - self.kernel_size[0]) // self.strides[0] + 1
        out_w = (tf.shape(inputs)[2] - self.kernel_size[1]) // self.strides[1] + 1
        return tf.reshape(conv_result, (batch_size, out_h, out_w, 1))

# 使用自定义层
custom_conv = CustomSlidingConv(kernel_size=(3, 3), strides=(1, 1), padding="valid")
test_input = tf.random.normal((1, 5, 5, 1))
output = custom_conv(test_input)

内容的提问来源于stack exchange，提问作者Ahmad