在Keras中实现动态扩展输出张量的自定义层相关问题咨询

实现目标 #

自定义层接收N维输入，先经过全连接得到N维O输出，再根据每个O节点的ASCII值计算对应的F特征（字母取1，非字母取0），最终输出拼接后的2N维结果，同时保证反向传播正常运行。

原有代码问题修正点 #

• 修复tf.concat参数错误，拼接张量需以列表形式传入，无需手动指定输出shape
• 移除__init__中矛盾的trainable=False设置，保持权重可训练属性正常配置
• 新增ASCII字母判断逻辑，通过数值区间判断实现F特征的自动计算
• 移除硬编码units参数，自动适配输入维度，保证输入N维时输出固定为2N维

最终实现代码 #

import tensorflow as tf
from tensorflow import keras

class Unpack_and_Categorize(keras.layers.Layer):
    def __init__(self, **kwargs):
        super(Unpack_and_Categorize, self).__init__(**kwargs)
        self.trainable = True

    def build(self, input_shape):
        # 自动取输入维度作为全连接输出维度N
        self.units = input_shape[-1]
        self.weight = self.add_weight(
            shape=(input_shape[-1], self.units),
            trainable=True,
            dtype="float32"
        )
        self.bias = self.add_weight(
            shape=(self.units,), 
            trainable=True, 
            dtype="float32"
        )
        super().build(input_shape)

    def call(self, inputs):
        # 计算全连接输出O节点
        base_out = tf.tensordot(inputs, self.weight, axes = 1) + self.bias
        # 计算F特征：判断O值是否在字母ASCII区间（大写65-90/小写97-122）
        o_int = tf.cast(base_out, tf.int32)
        is_upper = tf.logical_and(tf.greater_equal(o_int, 65), tf.less_equal(o_int, 90))
        is_lower = tf.logical_and(tf.greater_equal(o_int, 97), tf.less_equal(o_int, 122))
        f_feature = tf.cast(tf.logical_or(is_upper, is_lower), tf.float32)
        # 拼接O和F得到2N维输出
        return tf.concat([base_out, f_feature], axis=-1)

反向传播可行性说明 #

• 衍生F特征仅基于全连接输出做无参数的数值判断，本身没有可训练参数，梯度不会经过这部分传递
• 全连接部分的权重和偏置会正常接收反向传播的梯度，不会出现梯度阻断、报错或梯度爆炸问题
• 输入维度N变化时，层会自动在build阶段适配权重shape，无需修改代码

内容的提问来源于stack exchange，提问作者Tony Ennis