如何在Keras函数式API中不通过子类化添加偏置变量？

你遇到的问题核心是：直接定义的tf.Variable没被Keras模型追踪为可训练参数，部分尝试的形状匹配逻辑也有问题。这里有两种简单可行的方案，完全不需要子类化自定义层：

方法1：用Dense层仅保留可训练偏置 #

我们可以创建一个“无权重”的Dense层——把权重初始化为0并设为不可训练，只保留可训练的偏置项。这样既利用了Keras自动追踪参数的机制，又能实现仅加偏置的需求：

import tensorflow as tf

inp = tf.keras.Input(shape=(None,))
# 创建仅含偏置的Dense层
bias_layer = tf.keras.layers.Dense(
    units=1,
    use_bias=True,
    kernel_initializer='zeros',
    kernel_trainable=False
)
# 扩展输入维度匹配Dense层要求，加偏置后再压缩回原形状
expanded_inp = tf.expand_dims(inp, axis=-1)
outputs = tf.squeeze(bias_layer(expanded_inp) + expanded_inp, axis=-1)

model = tf.keras.Model(inputs=inp, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='sgd')

# 测试示例
input_data = tf.random.uniform([3, 5], dtype=tf.float32)  # 3个样本，每个长度为5
labels = tf.random.uniform([3, 5], dtype=tf.float32)
model.fit(input_data, labels)
print(model.summary())

运行后你会在模型summary里看到这个偏置参数，它会被正常训练更新。

方法2：用Embedding层存储共享偏置 #

如果你想更直接地用单个可训练变量，可以用Embedding层来存储这个偏置，再通过张量复制让它匹配输入的形状：

import tensorflow as tf

inp = tf.keras.Input(shape=(None,))
# 创建Embedding层存储单个偏置值
bias_embedding = tf.keras.layers.Embedding(1, 1, embeddings_initializer='zeros')
# 生成和输入批量匹配的索引，复制偏置到输入序列的每个位置
batch_size = tf.shape(inp)[0]
seq_len = tf.shape(inp)[1]
bias = tf.tile(bias_embedding(tf.zeros((batch_size,), dtype=tf.int32)), [1, seq_len])
outputs = inp + tf.squeeze(bias, axis=-1)

model = tf.keras.Model(inputs=inp, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='sgd')

# 测试示例
input_data = tf.random.uniform([3, 5], dtype=tf.float32)
labels = tf.random.uniform([3, 5], dtype=tf.float32)
model.fit(input_data, labels)
print(model.summary())

这里Embedding层的唯一参数就是我们需要的偏置，会被自动加入模型的可训练参数列表，tf.tile用来让偏置形状和输入对齐，保证加法操作合法。

为什么你之前的方法无效？ #

• 方法1/2：直接定义的tf.Variable没有被Keras模型注册为可训练参数，所以模型不会追踪它的梯度更新。
• 方法3：tf.shape(inp)是动态形状，不能用来初始化变量的静态形状，因此触发报错。
• 方法4：bias(0)只是取出了一个张量，但没有把Embedding层纳入模型的输入/输出路径，导致它的参数不会被模型识别和追踪。

内容的提问来源于stack exchange，提问作者Andrey