如何向LSTM模型输入混合特征？——嵌入层拼接形状不匹配错误的解决方案问询

看起来你在处理混合特征（词索引+数值型）输入LSTM时遇到了形状不匹配的问题，核心原因是特征合并的维度逻辑错误和特征提取/拼接的方式不对，下面一步步帮你修正：

一、先修正特征合并的代码 #

你原来的合并方式得到的数组形状不符合LSTM的输入要求。LSTM期望的输入格式是(样本数, 时间步长, 特征数)，而你用row_stack得到的是(6000, 2, 50)（2个特征组，每组50个时间步），这完全颠倒了时间步和特征的维度。

正确的合并方式应该是把每个时间步的词索引和数值特征配对，用stack在最后一维拼接：

# x1 shape: (6000, 50), x2 shape: (6000, 50)
X = np.stack([x1, x2], axis=-1)  # 合并后形状为 (6000, 50, 2)

这样每个样本就对应50个时间步，每个时间步包含2个特征（词索引+数值），完全符合LSTM的输入规范。

二、修正模型的特征处理逻辑 #

你之前的错误在于提取特征时维度取反了，而且数值特征没有扩展维度导致拼接失败。下面是修正后的完整模型代码：

import tensorflow as tf
from tensorflow.keras.layers import Input, LSTM, Dense, Dropout, Embedding

# 假设你已经定义了这些参数
max_pages = 10000  # 你的词表最大索引值
embedding_dim = 15  # 你设置的嵌入维度
num_category = 10  # 分类类别数

X_input = Input(shape=(50, 2), name="X_seq")

# 1. 处理词索引特征：提取每个时间步的第1个特征并做嵌入
x1_seq = X_input[:, :, 0]  # 形状为 (None, 50)，对应每个样本的50个词索引
x1_embedding = Embedding(input_dim=max_pages, output_dim=embedding_dim, input_length=50)(x1_seq)
# 嵌入后形状为 (None, 50, embedding_dim)

# 2. 处理数值特征：提取每个时间步的第2个特征并扩展维度
x2_seq = X_input[:, :, 1]  # 形状为 (None, 50)
x2_expanded = tf.expand_dims(x2_seq, axis=-1)  # 扩展为 (None, 50, 1)，和嵌入特征的维度对齐

# 3. 拼接两个特征：在特征维度（最后一维）拼接
X_concat = tf.keras.layers.concatenate([x1_embedding, x2_expanded], axis=-1)
# 拼接后形状为 (None, 50, embedding_dim + 1)

# 后续LSTM和全连接层保持原有逻辑
X_hidden1 = LSTM(units=256, dropout=0.25, return_sequences=True)(X_concat)
X_hidden2 = LSTM(units=256, dropout=0.25, return_sequences=True)(X_hidden1)
X_hidden3 = LSTM(units=128, dropout=0.25)(X_hidden2)
X_dense = Dense(units=128, activation='relu')(X_hidden3)
X_dense_dropout = Dropout(0.25)(X_dense)

# 这里注意：你原来的concat是多余的（只有一个输入），直接用X_dense_dropout即可
output = Dense(units=num_category, activation='softmax', name="output")(X_dense_dropout)

model = tf.keras.Model(inputs=[X_input], outputs=[output])
model.compile(optimizer='adam', loss="sparse_categorical_crossentropy", metrics=["accuracy"])

三、错误原因解释 #

你之前的代码抛出ValueError的核心原因：

1. 特征合并维度错误：导致输入数据的形状和Input层定义的(50,2)不匹配，后续特征提取逻辑完全混乱。
2. 特征提取方式错误：X_input[0,:]取的是第一个样本的所有时间步，而不是每个样本的词索引特征，这完全搞错了维度提取的逻辑。
3. 数值特征维度不匹配：数值特征是2D形状(None,2)，而嵌入后的特征是3D形状(None,2,15)，两者无法直接拼接，必须把数值特征扩展为3D后才能对齐维度。

内容的提问来源于stack exchange，提问作者DaCard