如何在Keras 2.1.2-py36_0中实现自定义GRU层

我明白你想要替换Keras默认GRU的门控计算逻辑，直接用输入xₜ和隐藏状态的线性变换相加，而不是给输入单独设置权重矩阵。下面我会帮你排查常见问题，并给出可运行的实现代码。

常见问题排查方向 #

在自定义RNN单元时，最容易踩的坑包括：

• 维度不匹配：输入xₜ的特征维度必须和隐藏状态hₜ₋₁的维度一致，否则无法直接相加；如果输入维度不同，需要先给xₜ加一个投影层
• 权重未正确初始化：自定义权重需要在build方法里用add_weight注册，否则Keras无法追踪训练参数
• 忘记返回状态：RNN单元的call方法需要返回(输出, 状态列表)，否则RNN层无法维持时序状态传递
• 激活函数未正确应用：确保每个门控的激活函数符合需求（比如sigmoid用于门控，tanh用于候选隐藏状态）

修正后的自定义GRU实现 #

下面是完全符合你门控公式的完整代码，关键细节我会标注出来：

from keras.layers import Layer, RNN
from keras import backend as K

class CGRUCell(Layer):
    def __init__(self, hidden_units, activation='tanh', recurrent_activation='sigmoid', **kwargs):
        self.hidden_units = hidden_units
        self.activation = K.activations.get(activation)
        self.recurrent_activation = K.activations.get(recurrent_activation)
        super(CGRUCell, self).__init__(**kwargs)

    def build(self, input_shape):
        # 输入x的形状：(batch_size, input_dim)
        input_dim = input_shape[-1]
        
        # 处理输入维度与隐藏单元数不匹配的情况：添加投影层转换x维度
        if input_dim != self.hidden_units:
            self.U_x = self.add_weight(
                shape=(input_dim, self.hidden_units),
                name='U_x',
                initializer='glorot_uniform'
            )
        
        # 门控权重：W_z, W_r, W_h 形状均为 (hidden_units, hidden_units)
        self.W_z = self.add_weight(
            shape=(self.hidden_units, self.hidden_units),
            name='W_z',
            initializer='glorot_uniform'
        )
        self.W_r = self.add_weight(
            shape=(self.hidden_units, self.hidden_units),
            name='W_r',
            initializer='glorot_uniform'
        )
        self.W_h = self.add_weight(
            shape=(self.hidden_units, self.hidden_units),
            name='W_h',
            initializer='glorot_uniform'
        )
        
        # 门控偏置项（可选，根据需求调整初始化方式）
        self.b_z = self.add_weight(
            shape=(self.hidden_units,),
            name='b_z',
            initializer='zeros'
        )
        self.b_r = self.add_weight(
            shape=(self.hidden_units,),
            name='b_r',
            initializer='zeros'
        )
        self.b_h = self.add_weight(
            shape=(self.hidden_units,),
            name='b_h',
            initializer='zeros'
        )
        
        self.built = True

    def call(self, inputs, states):
        h_prev = states[0]  # 上一步的隐藏状态：(batch_size, hidden_units)
        
        # 若输入维度不匹配，先投影x到隐藏维度
        if hasattr(self, 'U_x'):
            x = K.dot(inputs, self.U_x)
        else:
            x = inputs
        
        # 严格按照你的公式计算门控
        z = self.recurrent_activation(K.dot(h_prev, self.W_z) + x + self.b_z)
        r = self.recurrent_activation(K.dot(h_prev, self.W_r) + x + self.b_r)
        h_candidate = self.activation(K.dot(r * h_prev, self.W_h) + x + self.b_h)
        # 按你的公式，hₜ直接等于候选隐藏状态（如果需要加入更新门的作用，可修改为 z*h_prev + (1-z)*h_candidate）
        h_t = h_candidate
        
        # 返回当前输出和新的隐藏状态
        return h_t, [h_t]

    def get_initial_state(self, inputs=None, batch_size=None, dtype=None):
        # 初始化隐藏状态为全0张量
        return [K.zeros((batch_size, self.hidden_units), dtype=dtype)]

    def compute_output_shape(self, input_shape):
        return input_shape[0], self.hidden_units

# 包装成顶层RNN层
class CGRU(RNN):
    def __init__(self, hidden_units, **kwargs):
        cell = CGRUCell(hidden_units, **kwargs)
        super(CGRU, self).__init__(cell, **kwargs)

关键细节说明 #

1. 输入维度兼容：我添加了自动投影逻辑，如果你的输入特征维度和隐藏单元数不一致，会自动把xₜ转换为隐藏维度，确保可以和W_z·hₜ₋₁相加；若维度一致则跳过投影。
2. 权重初始化：所有权重采用Keras默认的glorot_uniform初始化，保证训练过程的稳定性。
3. 门控逻辑：完全遵循你给出的公式实现，注意如果你的公式里更新门zₜ没有参与最终hₜ的计算，这个门控暂时是冗余的——如果是笔误，你可以把h_t的计算改成标准GRU的更新逻辑：h_t = z * h_prev + (1 - z) * h_candidate。
4. 状态传递：call方法返回(h_t, [h_t])，完全符合Keras RNN单元的接口要求，确保时序状态可以正确传递。

使用示例 #

你可以像使用普通GRU层一样调用这个自定义层：

from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
# 输入形状：(timesteps, input_dim)，若input_dim≠hidden_units会自动投影
model.add(CGRU(64, input_shape=(10, 32)))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='adam', loss='categorical_crossentropy')

如果运行仍有问题，可以检查：

• 输入数据形状是否为(batch_size, timesteps, input_dim)
• 隐藏单元数与输入维度的匹配情况
• Keras版本是否为2.1.2（部分API在新版本有变化，此代码在2.1.2下完全兼容）

内容的提问来源于stack exchange，提问作者jagan