如何编写Keras层实现嵌入输出与常量向量的张量乘法

没问题，我来帮你搞定这个乘法操作！核心是要处理维度匹配的问题，让你的常量向量能和嵌入层输出正确广播相乘。下面是具体的实现步骤和代码：

核心思路 #

你的嵌入层输出word_embs的形状是(None, SEQ_LEN, EMBED_DIM)（None代表批量大小），而常量数组q的形状是(SEQ_LEN,)。要实现逐位置的乘法（即每个时序位置的词向量都被q中对应位置的值缩放），需要把q转换成可以广播的形状(1, SEQ_LEN, 1)，这样就能和word_embs的维度对齐，触发Keras的广播机制。

完整代码示例 #

from tensorflow.keras.layers import Input, Embedding, Lambda
from tensorflow.keras import backend as K
import numpy as np

# 定义你的参数
SEQ_LEN = 50
EMBED_DIM = 128
VOCAB_SIZE = 10000

# 原有输入和嵌入层
word_seq = Input(shape=(SEQ_LEN,), dtype="int32", name="word_seq")
word_embs = Embedding(output_dim=EMBED_DIM, input_dim=VOCAB_SIZE, input_length=SEQ_LEN)(word_seq)

# 假设你的常量numpy数组q已经定义
q = np.random.rand(SEQ_LEN,)  # 替换成你实际的q数组

# 步骤1：将q转换成Keras常量张量，并调整维度为(1, SEQ_LEN, 1)
q_const = K.constant(q.reshape(1, SEQ_LEN, 1))

# 步骤2：用Lambda层执行乘法操作
weighted_embs = Lambda(lambda x: x * q_const)(word_embs)

# 可以继续构建后续网络层...

关键细节解释 #

• 维度调整：把q从(SEQ_LEN,)改成(1, SEQ_LEN, 1)，是为了让它在批量维度（第一个维度）和嵌入维度（第三个维度）上能自动广播到和word_embs一致的大小。
• Lambda层的作用：Lambda层是Keras中用于自定义简单运算的工具，这里直接利用它实现张量乘法，非常适合这种不需要可训练参数的操作。
• 验证形状：你可以用weighted_embs.shape来验证输出形状，应该还是(None, SEQ_LEN, EMBED_DIM)，符合预期。

备选方案：用Multiply层 #

如果你更喜欢用Keras的预制层而不是Lambda，也可以这样实现：

from tensorflow.keras.layers import Multiply, Reshape

# 将q转换成形状为(1, SEQ_LEN, 1)的Keras张量层
q_layer = Reshape((SEQ_LEN, 1))(K.constant(q.reshape(1, SEQ_LEN)))
weighted_embs = Multiply()([word_embs, q_layer])

这个方案和Lambda层的效果完全一致，只是写法不同，看你个人习惯选择。

内容的提问来源于stack exchange，提问作者Sean Paulsen