如何移除标准GRU偏置项并在TensorFlow中实现无偏置LSTM/GRU单元？

一、移除偏置项的核心原理 #

标准GRU/LSTM单元的门控（更新门、重置门/输入门、遗忘门）和候选状态计算中，都会包含一个偏置项（b）。要实现无偏置单元，只需要在所有线性变换步骤中去掉偏置参数的引入：

• 以GRU为例，原公式中更新门 z = sigmoid(W_z·[h_prev, x] + b_z)，移除偏置后变为 z = sigmoid(W_z·[h_prev, x])
• 重置门、候选状态的计算同理，全部去掉偏置项的加法操作

二、TensorFlow中的实现方法 #

1. 推荐方案：使用tf.keras API（简单直接） #

TensorFlow的Keras层已经内置了控制偏置的参数，直接设置use_bias=False即可实现无偏置单元：

• 无偏置GRU单元：

import tensorflow as tf
gru_cell = tf.keras.layers.GRUCell(units=128, use_bias=False)

• 无偏置LSTM单元：

lstm_cell = tf.keras.layers.LSTMCell(units=128, use_bias=False)

这种方式无需自定义，是最简洁的实现方式，也是TensorFlow官方推荐的现代API用法。

2. 兼容旧版tf.contrib API的自定义实现 #

如果必须使用tf.contrib.rnn.GRUCell这类旧API（它没有直接的use_bias参数），可以通过继承原类并重写build和call方法来移除偏置：

import tensorflow as tf
from tensorflow.contrib.rnn import GRUCell

class NoBiasGRUCell(GRUCell):
    def build(self, inputs_shape):
        # 仅创建权重变量，跳过偏置变量的初始化
        self._gate_kernel = self.add_variable(
            "gate_kernel",
            shape=[inputs_shape[1] + self._num_units, 2 * self._num_units],
            initializer=self._gate_initializer)
        self._candidate_kernel = self.add_variable(
            "candidate_kernel",
            shape=[inputs_shape[1] + self._num_units, self._num_units],
            initializer=self._candidate_initializer)
        self.built = True
    
    def call(self, inputs, state):
        # 门控计算：仅做矩阵乘法，去掉偏置加法
        gate_inputs = tf.matmul(tf.concat([inputs, state], 1), self._gate_kernel)
        r, z = tf.split(tf.sigmoid(gate_inputs), 2, axis=1)
        
        # 候选状态计算：同样去掉偏置加法
        candidate_inputs = tf.matmul(tf.concat([inputs, r * state], 1), self._candidate_kernel)
        h_tilde = tf.tanh(candidate_inputs)
        
        # 最终状态计算和原GRU一致
        new_h = z * state + (1 - z) * h_tilde
        return new_h, new_h

使用时直接实例化这个自定义类即可：

no_bias_gru = NoBiasGRUCell(num_units=128)

对于LSTM单元，思路完全一致：继承tf.contrib.rnn.BasicLSTMCell，重写build方法不创建偏置变量，在call方法中去掉偏置的加法步骤。

内容的提问来源于stack exchange，提问作者jjvanderuitenbeek