TensorFlow VocabularyProcessor已弃用，其替代方案是什么？

嘿，我刚好处理过这个问题！tf.contrib.learn.preprocessing.VocabularyProcessor被弃用确实有点头疼，官方推荐的tf.data和tensorflow/transform其实完全能替代它的核心功能——构建词汇表、将文本转换为固定长度的数值序列。下面给你两种实用的实现方式：

方案1：用tf.data + Keras Tokenizer（轻量快速，适合原型开发） #

这个方案不需要额外安装依赖，用TensorFlow原生组件就能完成，完美匹配原API的功能：

import tensorflow as tf

# 模拟你的输入文本数据
texts = ["hello world", "tensorflow is great", "hello tensorflow", "goodbye old api"]
max_sequence_length = 10
min_word_frequency = 1

# 1. 构建符合频率要求的词汇表
# 初始化Tokenizer，保留OOV（未登录词）
tokenizer = tf.keras.preprocessing.text.Tokenizer(oov_token="<OOV>")
tokenizer.fit_on_texts(texts)

# 过滤掉出现次数低于min_word_frequency的词
filtered_vocab = [word for word, count in tokenizer.word_counts.items() if count >= min_word_frequency]

# 更新Tokenizer，只保留符合要求的词汇
new_tokenizer = tf.keras.preprocessing.text.Tokenizer(oov_token="<OOV>")
new_tokenizer.word_index = {word: idx+1 for idx, word in enumerate(filtered_vocab)}  # 索引从1开始，0用作填充位
new_tokenizer.index_word = {idx: word for word, idx in new_tokenizer.word_index.items()}

# 2. 将文本转换为序列并截断/填充到固定长度
sequences = new_tokenizer.texts_to_sequences(texts)
padded_sequences = tf.keras.preprocessing.sequence.pad_sequences(
    sequences, 
    maxlen=max_sequence_length, 
    padding="post",  # 填充在序列末尾
    truncating="post"  # 超长时截断末尾
)

# 如果要集成到tf.data流水线（推荐用于模型训练）
def preprocess_text(text):
    # 分割文本为单词
    tokens = tf.strings.split(text)
    # 转换为词汇索引（OOV词用<OOV>的索引）
    indices = tf.vectorized_map(lambda x: new_tokenizer.word_index.get(x.numpy().decode("utf-8"), new_tokenizer.word_index["<OOV>"]), tokens)
    # 截断/填充到指定长度
    padded = tf.pad(indices, [[0, max_sequence_length - tf.shape(indices)[0]]], mode="CONSTANT")
    return tf.ensure_shape(padded, [max_sequence_length])

# 创建tf.data数据集
dataset = tf.data.Dataset.from_tensor_slices(texts)
dataset = dataset.map(preprocess_text)

# 输出结果验证
for seq in dataset:
    print(seq.numpy())

方案2：用tensorflow_transform（适合大规模生产环境） #

如果你的数据量较大，或者需要构建标准化的预处理流水线（避免训练/推理阶段的预处理不一致），tf.transform是官方推荐的专业方案：

首先安装依赖：

pip install tensorflow-transform

然后实现预处理逻辑：

import tensorflow as tf
import tensorflow_transform as tft
import tensorflow_transform.beam as tft_beam

# 定义预处理函数，tf.transform会自动处理词汇表的统计和应用
def preprocessing_fn(inputs):
    # inputs是字典，key为特征名，value为对应张量
    text = inputs["text"]
    max_sequence_length = 10
    min_word_frequency = 1

    # 计算词汇表并转换文本为索引，自动过滤低频词
    vocab_indices = tft.compute_and_apply_vocabulary(
        text,
        min_frequency=min_word_frequency,
        vocab_filename="text_vocab"  # 词汇表会保存为这个文件
    )

    # 截断/填充到固定长度
    padded_indices = tf.pad(
        vocab_indices, 
        [[0, max_sequence_length - tf.shape(vocab_indices)[0]]], 
        mode="CONSTANT"
    )
    padded_indices = tf.ensure_shape(padded_indices, [max_sequence_length])

    return {"padded_text_sequence": padded_indices}

# 模拟输入数据
raw_data = [{"text": "hello world"}, {"text": "tensorflow is great"}, {"text": "hello tensorflow"}]

# 运行Beam流水线完成预处理
with tft_beam.Context(temp_dir="/tmp/tft_temp"):
    transformed_data, transform_fn = (
        raw_data
        | tft_beam.AnalyzeAndTransformDataset(preprocessing_fn)
    )

# 查看转换后的结果
for item in transformed_data:
    print(item["padded_text_sequence"].numpy())

这两种方案都完全覆盖了原VocabularyProcessor的功能，你可以根据自己的场景选择：快速原型选方案1，大规模生产选方案2。

内容的提问来源于stack exchange，提问作者ottomd