咨询Lasagne中GRU层共享权重时自定义门及GRU单元门的权重维度

我来帮你解决这个问题！你之前的维度猜测搞反了——Lasagne的权重矩阵维度是**(输出维度, 输入维度)**，这是它和很多框架不一样的地方，也是你代码不生效的核心原因。

正确的权重维度定义 #

对于GRU的每个自定义门（重置门、更新门、候选隐藏门），权重维度应该是这样的：

• W_in：输入特征到门的权重，维度为 (num_hidden, num_features)
  • 解释：每个时间步的输入是num_features维的向量，门需要把它映射到和隐藏状态同维度的num_hidden维输出，所以权重矩阵是输出维度在前，输入维度在后。
• W_hid：隐藏状态到门的权重，维度为 (num_hidden, num_hidden)
  • 解释：上一步的隐藏状态是num_hidden维，同样要映射到num_hidden维的门输出，这个维度你之前的猜测是对的。

共享权重的代码示例 #

下面是一个完整的示例，展示如何创建共享权重的自定义GRU门：

import lasagne
import theano.tensor as T

# 定义你的输入和隐藏层参数
num_features = 10  # 输入特征数
num_hidden = 20    # GRU隐藏单元数

# 初始化共享的权重（用Glorot均匀初始化，这是Lasagne的默认初始化方式）
shared_W_in = lasagne.init.GlorotUniform()((num_hidden, num_features))
shared_W_hid = lasagne.init.GlorotUniform()((num_hidden, num_hidden))

# 创建共享权重的自定义门
reset_gate = lasagne.layers.Gate(
    W_in=shared_W_in,
    W_hid=shared_W_hid,
    b=lasagne.init.Constant(0.)  # 偏置也可以选择共享，维度是(num_hidden,)
)
update_gate = lasagne.layers.Gate(
    W_in=shared_W_in,
    W_hid=shared_W_hid,
    b=lasagne.init.Constant(0.)
)
# 候选隐藏门的非线性激活是tanh，和另外两个门不同
hidden_update_gate = lasagne.layers.Gate(
    W_in=shared_W_in,
    W_hid=shared_W_hid,
    b=lasagne.init.Constant(0.),
    nonlinearity=lasagne.nonlinearities.tanh
)

# 构建GRU层（假设你已经定义了输入层your_input_layer）
your_input_layer = lasagne.layers.InputLayer(shape=(None, None, num_features))
gru_layer = lasagne.layers.GRULayer(
    input_layer=your_input_layer,
    num_units=num_hidden,
    resetgate=reset_gate,
    updategate=update_gate,
    hidden_update=hidden_update_gate,
    # 如果只需要最后一步的输出，可以设置only_return_final=True
)

额外注意事项 #

• 确保输入层的形状正确：Lasagne的GRULayer期望输入张量形状为(batch_size, sequence_length, num_features)，用InputLayer(shape=(None, None, num_features))可以兼容可变的batch大小和序列长度。
• 如果偏置也需要在门之间共享，只需要把所有门的b参数设置为同一个共享变量即可，偏置的维度是(num_hidden,)。

内容的提问来源于stack exchange，提问作者pdekker