如何在TensorFlow中复用训练与预测阶段的转换操作？

当然可以！把词干提取这类预处理逻辑集成到TensorFlow模型或数据流水线中，是避免训练/预测预处理不一致的最佳方案。下面分两种场景给你详细拆解：

一、词干提取：无全局数据集依赖的情况 #

词干提取（比如Porter词干器）是针对单个文本的独立操作，不需要用到整个数据集的统计信息，集成起来非常顺畅，主要有两种实现方式：

1. 用TensorFlow Text原生实现（推荐） #

TensorFlow Text库提供了完全兼容TF图的词干提取工具，性能更高、生产环境更友好，完全不会有Python代码的开销。示例代码如下：

import tensorflow as tf
import tensorflow_text as tf_text

# 构建包含词干提取的模型输入流水线
input_layer = tf.keras.layers.Input(shape=(), dtype=tf.string)

# 第一步：拆分文本为词汇
tokenized = tf_text.WhitespaceTokenizer().split(input_layer)
# 第二步：应用词干提取
stemmed_tokens = tf_text.PorterStemmer().stem(tokenized)
# 可选：把词干后的词汇重新拼接成字符串（如果后续需要）
stemmed_text = tf_text.reduce_join(stemmed_tokens, separator=' ')

# 后续接文本向量化、模型主体层...
vectorizer = tf.keras.layers.TextVectorization(max_tokens=1000)
# 注意：要先在训练数据上适配vectorizer，再接入模型
vectorizer.adapt(train_ds.map(lambda x: stemmed_text))
vectorized = vectorizer(stemmed_text)

# 构建完整模型
model = tf.keras.Model(inputs=input_layer, outputs=your_model_head)

这样训练时模型会自动处理输入文本的词干提取，保存模型后，预测时加载模型直接传入原始文本即可，完全不需要额外处理。

2. 包装Python词干库（快速原型） #

如果习惯用NLTK、spaCy这类Python词干工具，可以用tf.py_function把逻辑包装成TF可识别的操作。不过要注意，这种方式会带来一定的性能损耗，适合小数据量的原型开发：

import tensorflow as tf
from nltk.stem import PorterStemmer

stemmer = PorterStemmer()

@tf.function
def stem_single_text(text_tensor):
    # 将TF字符串张量转为Python字符串处理
    def stem_fn(s):
        return stemmer.stem(s.numpy().decode('utf-8'))
    # 包装成TF操作，指定输出类型
    return tf.py_function(stem_fn, [text_tensor], tf.string)

# 集成到模型输入层
input_layer = tf.keras.layers.Input(shape=(), dtype=tf.string)
stemmed_layer = tf.keras.layers.Lambda(stem_single_text)(input_layer)

二、依赖全局数据集信息的预处理（如归一化、词汇表构建） #

你提到的这类情况确实更棘手，因为预处理需要用到训练集的全局统计（比如数值特征的均值/方差、文本词汇表），核心原则是必须固定使用训练集的统计值，不能用预测数据重新计算。解决思路如下：

1. 将预处理层嵌入模型（推荐） #

把需要全局统计的预处理层（比如tf.keras.layers.Normalization、tf.keras.layers.TextVectorization）直接作为模型的一部分，训练前先在训练数据上完成适配，然后保存整个模型。这样预测时，模型会自动复用训练时的统计信息：

import tensorflow as tf
import tensorflow_text as tf_text

# 准备训练数据集
train_ds = tf.data.Dataset.from_tensor_slices(["running runs run", "walking walks walk"])

# 先定义完整的预处理逻辑
def preprocess_pipeline(text):
    tokenized = tf_text.WhitespaceTokenizer().split(text)
    stemmed_tokens = tf_text.PorterStemmer().stem(tokenized)
    return tf_text.reduce_join(stemmed_tokens, separator=' ')

# 适配文本向量化层（使用训练数据的统计信息）
vectorizer = tf.keras.layers.TextVectorization(max_tokens=100)
vectorizer.adapt(train_ds.map(preprocess_pipeline))

# 构建包含预处理的完整模型
input_layer = tf.keras.layers.Input(shape=(), dtype=tf.string)
processed_text = tf.keras.layers.Lambda(preprocess_pipeline)(input_layer)
vectorized_text = vectorizer(processed_text)
# 后续接模型主体
dense_layer = tf.keras.layers.Dense(64, activation='relu')(vectorized_text)
output_layer = tf.keras.layers.Dense(1, activation='sigmoid')(dense_layer)

model = tf.keras.Model(inputs=input_layer, outputs=output_layer)

# 训练后保存模型
model.save("my_text_model")

# 加载模型后直接预测，自动执行相同的预处理
loaded_model = tf.keras.models.load_model("my_text_model")
loaded_model.predict(["running fast"])

2. 保存TF Data预处理流水线 #

如果不想把预处理层嵌入模型，可以把完整的预处理逻辑封装成TF Data流水线，用tf.data.experimental.save保存流水线配置，预测时加载后直接应用到预测数据上。这种方式要求所有预处理操作都是可序列化的TF原生操作，不能包含不可序列化的Python逻辑。

关键注意事项 #

• 所有预处理操作尽量使用TensorFlow原生API，避免纯Python逻辑（除非用tf.py_function包装并确保可序列化），否则模型保存后可能无法正常加载。
• 依赖全局统计的预处理层，绝对不能在预测数据上重新适配，否则会导致数据分布偏移，严重影响模型预测效果。

内容的提问来源于stack exchange，提问作者zoran119