适配Cloud ML Reddit示例实现分类并输出预测ID的问题排查

我刚帮几个朋友踩过类似Cloud ML + TFT的适配坑，你的场景特别典型——把回归示例改成二分类，还要搞定批量预测带ID和文本特征的棘手问题。咱们一步步拆解解决：

一、先搞定批量预测输出Example ID的问题 #

这个核心是要让example_id从输入到预处理再到预测输出全程“不掉线”：

1. 预处理阶段保留ID：在preprocessing_fn里，必须把example_id作为输出特征保留下来，不能被过滤。比如：

   def preprocessing_fn(inputs):
       # 原有特征处理逻辑...
       outputs = {}
       # 直接把输入的example_id传递到输出，不做任何转换
       outputs['example_id'] = inputs['example_id']
       # 其他特征的转换逻辑（比如score转二分类标签）...
       return outputs
   

2. 导出SavedModel时关联ID：用tf.estimator.export.build_parsing_serving_input_receiver_fn时，要把example_id包含在特征spec中。或者自定义serving输入接收器，在预测时把example_id和classes/scores一起打包输出。
3. 批量预测输入要带ID：确保你的批量输入数据（不管是CSV还是TFRecord）里明确包含example_id字段，且TFT的Schema文件里把它定义为STRING类型。

二、逐个解决你遇到的三类错误 #

1. NotFoundError：找不到模型checkpoint文件 #

这个大概率是路径关联错了：

• 检查训练任务的model_dir下是否有完整的checkpoint文件（比如model.ckpt-XXXX.data-00000-of-00001这类），导出SavedModel时必须指定正确的model_dir，或者用tf.estimator.LatestCheckpointHook确保导出最新的训练 checkpoint。
• 如果你用了TFT的TransformTrain组件，要确认训练任务的输出目录和TFT的预处理输出目录是正确关联的，别搞混了路径层级。

2. TensorFlow Transform报错：TypeError: string indices must be integers, not str #

这个是把字符串Tensor当成字典来索引了：

• 检查preprocessing_fn里的特征处理逻辑，比如你可能写了inputs['comment']['some_key']，但inputs['comment']是一个字符串Tensor，不是字典。处理文本特征时，用tft.tokenize或tft.string_to_int的参数必须是纯Tensor，不能嵌套索引。
• 核对特征列的名称，确保预处理后的输出特征名和模型中特征列引用的名称完全一致，别出现拼写错误。

3. ValueError: 'Tensor("Slice:0", shape=(?, 20), dtype=int64)_embedding'不是有效作用域名称 #

这个是自动生成的嵌入层名称包含了TensorFlow不允许的特殊字符（比如冒号、引号）：

• 手动给嵌入列指定合法的名称，别依赖系统自动生成：

  # 先定义词汇表列
  comment_vocab_column = tf.feature_column.categorical_column_with_vocabulary_file(
      key='comment_processed',
      vocabulary_file=vocab_path
  )
  # 显式指定嵌入列的name参数，用合法的字符串
  comment_embedding = tf.feature_column.embedding_column(
      categorical_column=comment_vocab_column,
      dimension=32,
      name='comment_embedding'
  )
  

• 如果你用了tft.tokenize或tft.ngrams处理文本，确保输出的Tensor名称是纯字母数字加下划线的格式，避免特殊字符。

三、文本转词袋再转嵌入的替代方案 #

如果直接用嵌入列卡壳，试试这两种更稳妥的文本特征处理方式：

方案1：TFT生成词袋特征输入DNN #

在预处理阶段直接生成词袋计数特征，当成数值特征喂给模型：

def preprocessing_fn(inputs):
    # 文本分词
    tokens = tft.tokenize(inputs['comment'])
    # 生成一元词袋，取top1000个高频词
    ngrams = tft.count_ngrams(tokens, ngram_range=(1,1), top_k=1000)
    # 标准化后作为输出特征
    outputs['comment_bow'] = tft.scale_to_z_score(ngrams)
    # 其他特征处理...
    return outputs

然后在模型里把comment_bow作为数值特征加入DNNClassifier的feature_columns即可。

方案2：用预训练词嵌入（比如GloVe） #

如果需要更好的文本语义表示，可以加载预训练嵌入矩阵：

1. 先在预处理阶段把文本转成整数ID：

   comment_ids = tft.string_to_int(inputs['comment'], vocab_filename='comment_vocab')
   outputs['comment_ids'] = comment_ids
   

2. 在模型定义里加载预训练嵌入矩阵，手动构建嵌入层：

   # 假设你已经加载了GloVe的嵌入矩阵到embedding_weights变量
   embedding_matrix = tf.Variable(
       embedding_weights,
       trainable=True,
       name='pretrained_embedding'
   )
   # 查嵌入向量并flatten成一维特征
   comment_embedding = tf.nn.embedding_lookup(embedding_matrix, features['comment_ids'])
   comment_feature = tf.layers.flatten(comment_embedding)
   

3. 把comment_feature作为自定义输入特征传入DNN的隐藏层。

内容的提问来源于stack exchange，提问作者andrewm4894