我之前也碰到过一模一样的问题！其实核心是你混淆了Schema里的术语——TFX的Schema用value_count而不是你以为的valence来定义特征是否为多值，而且自动的SchemaGen经常会因为样本里的空值（比如你的disliked_product_id全是空数组）或者统计覆盖不足，把多值特征误判为单值。下面给你几个可行的解决办法：

方法1：手动修改自动生成的Schema后导入 #

这是最直接的方式，先让SchemaGen生成基础Schema，再手动修正后重新导入流水线：

1. 导出自动生成的Schema文件
   在你运行完SchemaGen后，把生成的Schema导出到本地目录：

   context.export_output(schema_gen.outputs['schema'], './custom_schema')
   

   你会得到一个schema.pbtxt文件。

2. 修改多值特征的value_count配置
   打开schema.pbtxt，找到你的多值特征（比如touched_product_id），把默认的单值配置改成多值：

   feature {
     name: "touched_product_id"
     # 关键：设置value_count表示多值，min=0允许空数组，max=-1表示任意长度
     value_count {
       min: 0
       max: -1
     }
     type: INT64
     presence {
       min_count: 0
     }
   }
   

   对liked_product_id和disliked_product_id做同样的修改。

3. 在流水线中导入手动修改后的Schema
   用ImportSchemaGen组件代替自动的SchemaGen，指定你修改后的Schema路径：

   from tfx.components import ImportSchemaGen
   
   schema_gen = ImportSchemaGen(schema_file='./custom_schema/schema.pbtxt')
   context.run(schema_gen)
   

方法2：在ExampleGen阶段明确指定多值特征格式 #

如果你不想手动修改Schema，可以在CsvExampleGen阶段就告诉TFX哪些是多值特征，这样后续的SchemaGen就能正确推断：

import tensorflow as tf
from tfx.components import CsvExampleGen

def get_csv_parse_config():
    # 为每个特征指定解析规则，多值特征用VarLenFeature
    return {
        'user_id': tf.io.FixedLenFeature([], tf.int64),
        'product_id': tf.io.FixedLenFeature([], tf.int64),
        'touched_product_id': tf.io.VarLenFeature(tf.int64),
        'liked_product_id': tf.io.VarLenFeature(tf.int64),
        'disliked_product_id': tf.io.VarLenFeature(tf.int64),
        'target': tf.io.FixedLenFeature([], tf.int64)
    }

# 把解析配置传入CsvExampleGen的custom_config
csv_example_gen = CsvExampleGen(
    input_base='sample_train',
    custom_config={'csv_parse_config': get_csv_parse_config()}
)
context.run(csv_example_gen)

这样生成的TFRecord会正确保存多值特征，后续的StatisticsGen和SchemaGen也会自动识别它们为多值类型。

额外提示 #

• 如果你用的是TFX的最新版本，也可以尝试给SchemaGen添加infer_feature_shape=False之外的参数，比如enable_infer_missing_values=True，但这个不一定能解决所有情况，手动修改Schema还是最可靠的。
• 注意检查你的CSV数据格式：多值特征的数组是否用正确的格式存储（比如用[]包裹，元素用逗号分隔），如果格式不对，CsvExampleGen也无法正确解析成多值特征。

内容的提问来源于stack exchange，提问作者Michael