不同会话加载TensorFlow模型结果异常，能否将Tokenizer嵌入模型层？

可以通过TensorFlow内置的TextVectorization层将tokenizer逻辑直接嵌入模型，不需要单独维护序列化的tokenizer文件，导出的模型可直接接收原始文本输入，无需额外预处理，彻底解决跨会话tokenizer不匹配导致的准确率下降问题。

方案1：训练新模型时直接集成 #

替换原有Tokenizer+手动padding的流程，直接将预处理逻辑写入模型结构：

import tensorflow as tf
from tensorflow.keras import layers

# 定义参数，和你原有参数保持一致即可
VOCAB_SIZE = 10000 # 可替换为你原有tokenizer的num_words值
MAXLEN = 128 # 和你之前padding的maxlen一致
EMBEDDING_DIM = 128
EPOCHS = 10

# 定义文本预处理层，替代Tokenizer
vectorize_layer = layers.TextVectorization(
    max_tokens=VOCAB_SIZE,
    output_mode='int',
    output_sequence_length=MAXLEN
)
# 用训练集文本适配层，替代原有tokenizer.fit_on_texts
vectorize_layer.adapt(train_text) # train_text为你的训练文本数据集

# 构建完整模型，输入直接支持原始字符串
inputs = tf.keras.Input(shape=(1,), dtype=tf.string)
x = vectorize_layer(inputs)
# 后续层和你原有模型结构完全一致
x = layers.Embedding(VOCAB_SIZE + 1, EMBEDDING_DIM)(x)
x = layers.LSTM(64)(x) # 替换为你自己的模型层结构
outputs = layers.Dense(1, activation='sigmoid')(x)

model = tf.keras.Model(inputs, outputs)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# 训练时直接传入原始文本和标签，不需要提前做转序列、padding操作
model.fit(train_text, train_labels, epochs=EPOCHS, validation_split=0.2)

方案2：已训练完成的现有模型改造 #

如果你不想重新训练原有模型，可以手动把已训练的tokenizer的词表导入到TextVectorization层，再封装到现有模型前端：

# 导出你已训练好的tokenizer的词表
vocab = list(tokenizer.word_index.keys())
# 初始化预处理层，直接传入词表，不需要再adapt
vectorize_layer = layers.TextVectorization(
    max_tokens=len(vocab)+1,
    output_mode='int',
    output_sequence_length=MAXLEN,
    vocabulary=vocab
)

# 将预处理层和你已训练好的模型拼接
inputs = tf.keras.Input(shape=(1,), dtype=tf.string)
x = vectorize_layer(inputs)
outputs = your_trained_model(x) # your_trained_model替换为你已训练好的模型对象
full_model = tf.keras.Model(inputs, outputs)

保存与使用 #

直接用TensorFlow的标准保存逻辑导出模型即可：

# 保存模型
full_model.save('sentiment_full_model.h5')
# 其他会话加载模型
loaded_model = tf.keras.models.load_model('sentiment_full_model.h5')
# 直接传入原始文本预测，不需要任何额外预处理
prediction = loaded_model.predict(['这是一条测试文本'])

内容的提问来源于stack exchange，提问作者Callum Matthews