基于TFX构建自编码器训练Pipeline：tf.Dataset与Keras模型适配问题求解

我之前成功搭建过TFX的自编码器训练Pipeline，你的核心问题其实是TFX返回的数据集结构和自编码器的输入输出不匹配——自编码器需要输入和目标是同一数据，但TFX的Dataset默认返回特征字典，而你的模型结构和数据集结构没对齐，导致梯度无法计算。下面给你两种可行的解决方案：

解决方案1：让模型适配特征字典输入输出（符合TFX规范，推荐） #

这种方式保留TFX原生的特征字典结构，模型输入是特征字典，输出也是和输入键对应的字典，这样Dataset返回的(特征字典, 特征字典)就能完美匹配模型的输入输出结构。

修改模型定义

def _build_keras_model(features: List[str]) -> tf.keras.Model:
    # 输入为特征字典，每个特征对应一个Input层
    inputs = {feature_name: keras.layers.Input(shape=(1,), name=feature_name) 
              for feature_name in features}
    
    # 拼接所有特征为单个张量，送入编码器
    concatenated_features = keras.layers.concatenate(list(inputs.values()))
    
    # 编码器模块
    x = keras.layers.Dense(32, activation='relu')(concatenated_features)
    x = keras.layers.Dense(16, activation='relu')(x)
    x = keras.layers.Dense(8, activation='relu')(x)
    
    # 解码器模块
    x = keras.layers.Dense(16, activation='relu')(x)
    x = keras.layers.Dense(32, activation='relu')(x)
    
    # 输出与输入键对应的特征预测结果
    outputs = {}
    for feature_name in features:
        outputs[feature_name] = keras.layers.Dense(
            1, activation='sigmoid', name=f'output_{feature_name}'
        )(x)
    
    model = keras.Model(inputs=inputs, outputs=outputs)
    model.compile(optimizer='adam', loss='mae')
    return model

修改_input_fn返回输入-目标元组

def _input_fn(
    file_pattern,
    data_accessor: tfx.components.DataAccessor,
    tf_transform_output: tft.TFTransformOutput,
    batch_size: int) -> tf.data.Dataset:
    dataset = data_accessor.tf_dataset_factory(
        file_pattern,
        tfxio.TensorFlowDatasetOptions(batch_size=batch_size),
        tf_transform_output.transformed_metadata.schema
    )
    transform_layer = tf_transform_output.transform_features_layer()
    
    def apply_transform(raw_features):
        transformed_features = transform_layer(raw_features)
        # 自编码器的目标就是输入本身，返回(输入特征字典, 目标特征字典)
        return (transformed_features, transformed_features)
    
    return dataset.map(apply_transform).repeat()

解决方案2：将特征字典转换为单个张量（适合简单表格数据） #

如果你的所有特征都是数值型，也可以把特征字典拼接成单个张量，让模型接受单个张量输入、输出同形状张量，这和TensorFlow官方自编码器示例的结构更接近。

修改模型定义

def _build_keras_model(feature_count: int) -> tf.keras.Model:
    # 输入为单个张量，形状对应特征总数
    inputs = keras.layers.Input(shape=(feature_count,))
    
    # 编码器
    x = keras.layers.Dense(32, activation='relu')(inputs)
    x = keras.layers.Dense(16, activation='relu')(x)
    x = keras.layers.Dense(8, activation='relu')(x)
    
    # 解码器
    x = keras.layers.Dense(16, activation='relu')(x)
    x = keras.layers.Dense(32, activation='relu')(x)
    outputs = keras.layers.Dense(feature_count, activation='sigmoid')(x)
    
    model = keras.Model(inputs=inputs, outputs=outputs)
    model.compile(optimizer='adam', loss='mse')
    return model

修改_input_fn拼接特征字典

def _input_fn(
    file_pattern,
    data_accessor: tfx.components.DataAccessor,
    tf_transform_output: tft.TFTransformOutput,
    batch_size: int) -> tf.data.Dataset:
    dataset = data_accessor.tf_dataset_factory(
        file_pattern,
        tfxio.TensorFlowDatasetOptions(batch_size=batch_size),
        tf_transform_output.transformed_metadata.schema
    )
    transform_layer = tf_transform_output.transform_features_layer()
    
    def apply_transform(raw_features):
        transformed_features = transform_layer(raw_features)
        # 将特征字典的所有值拼接成单个张量
        feature_tensor = keras.layers.concatenate(list(transformed_features.values()))
        # 返回(输入张量, 目标张量)
        return (feature_tensor, feature_tensor)
    
    return dataset.map(apply_transform).repeat()

在run_fn中调整模型初始化

# 传入特征总数而非特征列表
model = _build_keras_model(feature_count=len(fn_args.custom_config['features']))

为什么之前的尝试失败？ #

1. 你尝试的model.fit(train_dataset, train_dataset)不符合Keras的Dataset输入规则：当Dataset作为输入时，Keras会自动解析其中的(输入, 目标)元组，不能额外传递y参数。
2. 你修改的子类Model的call方法存在错误：Input层应该在模型初始化阶段创建，而不是在call方法中动态生成，这就是你遇到符号张量转换错误的核心原因。

内容的提问来源于stack exchange，提问作者JChandler