将预处理函数映射到TensorFlow Dataset时触发类型错误

为什么遍历正常但map报错？ #

这是TensorFlow即时执行（Eager）和图执行两种模式的差异导致的：

• 遍历样本时，TensorFlow处于Eager模式，每个张量都有明确的静态形状（比如(150,84)），所以x.shape[0]能拿到具体的整数长度，if判断正常工作。
• 调用Dataset.map()时，TensorFlow会切换到图执行模式：此时数据集里的样本序列长度不固定，TensorFlow无法提前推断出coordinates的第一维静态形状，所以x.shape[0]返回None，和整数max_len比较就触发TypeError。

修复后的预处理函数 #

把Python原生的if/elif替换成TensorFlow的动态控制流操作，同时改用动态形状获取序列长度：

def preprocess_tensor(tensor, max_len=200):
    column_means = tf.reduce_mean(tensor, axis=0)
    nan_mask_filtered = tf.math.is_nan(tensor)
    x = tf.where(nan_mask_filtered, tf.expand_dims(column_means, axis=0), tensor)
    
    # 获取运行时的实际序列长度（动态形状）
    seq_len = tf.shape(x)[0]
    
    # 定义填充和截断的分支函数
    def pad_sequence():
        pad_size = tf.maximum(0, max_len - seq_len)
        pad_width = [(0, pad_size), (0, 0)]
        return tf.pad(x, pad_width)
    
    def truncate_sequence():
        return x[:max_len, ...]
    
    # 用tf.cond实现图模式下的条件分支
    x = tf.cond(seq_len <= max_len, pad_sequence, truncate_sequence)
    
    # 手动设置输出的静态形状，方便后续数据集的形状推断
    x.set_shape((max_len, tensor.shape[1]))
    return x

关键修改点 #

1. 动态形状替代静态形状：用tf.shape(x)[0]获取运行时的实际序列长度，而不是x.shape[0]（图模式下可能为None）。
2. TensorFlow控制流替代Python控制流：图模式下Python的if不会被TensorFlow追踪，必须用tf.cond实现条件分支。
3. 固定输出形状：通过x.set_shape手动指定输出形状为(max_len, 84)，确保数据集后续操作能推断出固定的张量形状。

内容的提问来源于stack exchange，提问作者Conweezy