如何在TensorFlow模型内实现DataFrame文本向量化与独热编码？附报错修正

1. 错误根源 #

这个错误是模型输出维度与标签维度不匹配：模型最后一层输出是(None, 11)（对应11个词汇的概率分布），但传入fit的标签是(None, 1)的原始词索引/文本，两者形状无法兼容。

2. 核心修正方案 #

方案一：用稀疏分类损失（推荐，无需独热标签） #

无需对标签做独热编码，直接传入原始词索引，将损失函数改为sparse_categorical_crossentropy，TensorFlow会自动处理维度匹配：

# 先把next_word转换为词汇表索引
y = df['next_word'].map(word_to_idx).values
# 模型最后一层保持输出维度为词汇表大小
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# 直接训练
model.fit(X, y, epochs=10)

方案二：将标签转为独热编码 #

如果坚持用独热标签，需把next_word转换成与模型输出维度一致的独热向量：

# 假设vocab_size为11
y = tf.one_hot(df['next_word'].map(word_to_idx), depth=vocab_size)
# 模型损失改用categorical_crossentropy
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X, y, epochs=10)

3. 数据流验证与最佳实践 #

数据流正确性检查 #

你用DataFrame处理的数据流本身可行，但需确认输入形状：

• 输入X需为(样本数, 序列长度, 向量维度)格式（比如每个样本是4个词的序列，转独热后向量维度为词汇表大小），符合序列模型输入要求。
• 确保所有输入序列的长度统一（你的数据中每个样本都是4个词，满足要求）。

是否在模型内完成文本向量化？ #

建议将文本向量化嵌入到模型中，优势明显：

• 避免训练/测试数据的预处理不一致（比如测试集出现未见过的OOV词）；
• 部署时可直接输入原始文本，无需额外预处理；
• 符合TensorFlow端到端流水线设计。

端到端模型实现示例：

import pandas as pd
import tensorflow as tf

# 原始数据
df = pd.DataFrame(data=[['I', 'have', 'an', 'idea','xyz'],
                         ['This', 'idea', 'is', 'awesome', 'asd']],
                   columns=['cell_0_0','cell_0_1','cell_1_0','cell_1_1','next_word'])

# 构建词汇表
all_words = df.values.flatten().tolist()
vocab = sorted(list(set(all_words)))
vocab_size = len(vocab)
word_to_idx = {word:i for i, word in enumerate(vocab)}

# 准备输入和标签
X = df[['cell_0_0','cell_0_1','cell_1_0','cell_1_1']].values
y = df['next_word'].map(word_to_idx).values

# 构建端到端模型
vectorize_layer = tf.keras.layers.TextVectorization(
    max_tokens=vocab_size,
    output_mode='int',
    vocabulary=vocab
)

inputs = tf.keras.Input(shape=(4,), dtype=tf.string)
x = vectorize_layer(inputs)
# 转换为独热向量（若不用Embedding层）
x = tf.keras.layers.Lambda(lambda x: tf.one_hot(x, depth=vocab_size))(x)
x = tf.keras.layers.LSTM(32)(x)
outputs = tf.keras.layers.Dense(vocab_size, activation='softmax')(x)

model = tf.keras.Model(inputs, outputs)
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 训练
model.fit(X, y, epochs=20)

内容的提问来源于stack exchange，提问作者x3mEr