使用TFX构建ML生产流水线时遇SparseTensor转Tensor错误求助

这个错误的核心原因很明确：你的Keras模型是按照接收稠密Tensor来构建输入层的，但经过TF Transform处理后的特征数据，实际是以SparseTensor的形式传递给模型的，两者类型不匹配就触发了这个TypeError。

我给你梳理几个关键的排查和修复步骤：

1. 检查Transform组件的预处理逻辑 #

大概率是你在Transform模块的preprocessing_fn里，对这些浮点特征的处理没有处理缺失值，导致TF Transform默认输出了SparseTensor。比如如果你的特征存在NaN或者缺失值，直接用tft.scale_to_z_score这类操作时，TF Transform会保留稀疏格式来节省空间。

你可以修改preprocessing_fn，先填充缺失值再做标准化，确保输出是稠密Tensor：

def preprocessing_fn(inputs):
    outputs = {}
    for key in _DENSE_FLOAT_FEATURE_KEYS:
        # 先把NaN替换为默认值（比如0.0），再做标准化
        cleaned_feature = tf.where(tf.math.is_nan(inputs[key]), 0.0, inputs[key])
        outputs[_transformed_name(key)] = tft.scale_to_z_score(cleaned_feature)
    
    # 别忘了处理你的标签特征，这里根据你的实际情况调整
    # outputs[_transformed_name(_LABEL_KEY)] = inputs[_LABEL_KEY]
    return outputs

2. 在_input_fn中手动转换SparseTensor为Dense Tensor #

如果因为某些原因无法修改Transform的预处理逻辑，那可以在读取数据的_input_fn里，把稀疏张量转成稠密张量，再传递给模型：

def _input_fn(file_pattern, tf_transform_output, batch_size):
    transformed_feature_spec = tf_transform_output.transformed_feature_spec()
    
    # 加载TFRecord数据集
    dataset = tf.data.experimental.make_batched_features_dataset(
        file_pattern=file_pattern,
        batch_size=batch_size,
        features=transformed_feature_spec,
        reader=tf.data.TFRecordDataset,
        shuffle=True)
    
    # 定义一个映射函数，把SparseTensor转成Dense Tensor
    def convert_sparse_to_dense(batch):
        for key in _DENSE_FLOAT_FEATURE_KEYS:
            transformed_key = _transformed_name(key)
            if isinstance(batch[transformed_key], tf.SparseTensor):
                # 用0.0填充缺失的位置，转成稠密张量
                batch[transformed_key] = tf.sparse.to_dense(batch[transformed_key], default_value=0.0)
        
        # 分离特征和标签（这里的_LABEL_KEY需要替换成你实际的标签字段名）
        features = {k: v for k, v in batch.items() if k != _transformed_name(_LABEL_KEY)}
        label = batch[_transformed_name(_LABEL_KEY)]
        return features, label
    
    return dataset.map(convert_sparse_to_dense)

3. 验证输入层与特征名的匹配性 #

最后再确认下_build_keras_model里的输入层name，和_transformed_name(f)生成的特征名完全一致，避免因为名称不匹配导致模型接收到意外的张量类型。

按照上面的步骤调整后，SparseTensor就会被转换成模型期望的稠密Tensor，这个TypeError应该就能解决了。

内容的提问来源于stack exchange，提问作者Petro Franchuk