基于示例数据集重建文本Embeddings的问题排查

核心问题1：输入未做词嵌入转换 #

你的代码直接把token化后的整数序列（padded_sequences）喂给Dense层，这是错误的：

• 整数序列里的每个值只是token的索引，本身没有语义信息，Dense层无法从离散索引中学习到文本的语义关联。
• 必须先通过Embedding层把每个token索引转换成低维语义向量，再进行后续处理。

核心问题2：未对序列做维度聚合 #

文本序列是序列型输入（shape为(样本数, max_sequence_length)），而目标是固定维度的25维向量。你需要先把序列转换成固定维度的向量，比如：

• 使用循环层（LSTM/GRU）提取序列的上下文特征，取最后时刻的输出作为序列向量；
• 对Embedding后的序列做全局平均/最大池化，得到固定维度的向量。

核心问题3：激活函数与目标不匹配 #

目标是25维的连续Embedding向量（通常包含正负值），但解码器用了sigmoid激活，输出被限制在0-1区间，和目标分布完全不符，导致模型无法拟合训练数据。应该去掉sigmoid，用线性激活（Dense层默认就是线性）。

核心问题4：训练轮次不足 #

仅10个epoch不足以让模型学习到文本到Embedding的映射关系，建议增加到50-100个epoch，同时可以加早停（EarlyStopping）防止过拟合。

修复后的示例代码 #

import numpy as np
from tensorflow.keras.layers import Input, Dense, Embedding, LSTM, GlobalAveragePooling1D
from tensorflow.keras.models import Model
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
from tensorflow.keras.callbacks import EarlyStopping

# Tokenization
tokenizer = Tokenizer()
tokenizer.fit_on_texts(sentence_list)
sequences = tokenizer.texts_to_sequences(sentence_list)
max_sequence_length = max(len(s) for s in sequences)
padded_sequences = pad_sequences(sequences, maxlen=max_sequence_length)
vocab_size = len(tokenizer.word_index) + 1  # 要+1，因为Tokenizer从1开始索引

# 目标Embedding维度
target_dim = 25

# 定义模型：输入文本序列，输出目标25维Embedding
input_seq = Input(shape=(max_sequence_length,))
# 1. 词嵌入转换：把token索引转为语义向量
x = Embedding(input_dim=vocab_size, output_dim=64, input_length=max_sequence_length)(input_seq)
# 2. 序列聚合：将变长序列转为固定维度向量（这里用全局平均池化，也可替换为LSTM/GRU）
x = GlobalAveragePooling1D()(x)
# 3. 输出层：匹配目标Embedding维度，用线性激活（默认）
output_vec = Dense(target_dim)(x)

model = Model(input_seq, output_vec)

# 编译：MSE损失适配连续向量回归任务
model.compile(optimizer=Adam(learning_rate=1e-3), loss='mse')

# 早停回调：监控验证集损失，防止过拟合
early_stop = EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)

# 训练
model.fit(padded_sequences, combined_vectors_clean,
          epochs=100,
          batch_size=32,
          shuffle=True,
          validation_split=0.2,
          callbacks=[early_stop])

额外注意点 #

• 确认combined_vectors_clean的数值范围：如果目标Embedding是标准化后的（均值0，方差1），可以考虑在输出层用tanh激活；如果是任意实数范围，保持线性激活即可。
• 词嵌入的output_dim可根据数据集大小调整，64、128都是常用的合理值。
• 若数据集规模较大，可使用预训练词嵌入初始化Embedding层，能快速提升模型的语义理解能力。

内容的提问来源于stack exchange，提问作者slastine