TensorFlow2.7中tf.data.Dataset管道内Tensor调用numpy()报错解决方案问询

问题根因 #

你遇到的报错核心原因是tf.data.Dataset.map()默认会将传入的函数编译为TensorFlow计算图以优化流水线性能，图模式下的张量不属于EagerTensor类型，没有.numpy()方法，哪怕全局开启了Eager Execution也不会生效。

最优解决方案：用TensorFlow原生算子替换NumPy逻辑 #

你当前的bin_image功能完全可以用TF原生API实现，不需要转NumPy数组，既能适配图模式，性能也更好。你用到的np.digitize对应TF的tf.raw_ops.Bucketize算子，改写后的代码如下：

def bin_image(image, mask):
    # 直接用TF常量定义bins，不需要NumPy数组
    bins = tf.constant([20, 40, 60, 80, 100, 120, 140, 160, 180, 200, 220, 240], dtype=tf.float32)
    # Bucketize算子和np.digitize效果完全一致
    new_mask = tf.raw_ops.Bucketize(input=mask, boundaries=tf.cast(bins, mask.dtype))
    new_mask = tf.cast(new_mask, tf.float32)
    return image, new_mask

改完之后你原来的map调用逻辑不需要做任何修改，直接就能运行。

备选方案：用tf.py_function封装NumPy逻辑 #

如果你确实需要使用无法用TF算子替代的NumPy操作，可以用tf.py_function将Python/NumPy逻辑包裹起来，让TF在图执行时调用Python解释器运行这部分代码，缺点是性能会低于纯TF算子实现，且无法序列化导出模型。改写示例如下：

def split_image(image):
    cityscape = tf.image.crop_to_bounding_box(image, 0, 0, 256, 256)
    mask = tf.image.crop_to_bounding_box(image, 0, 256, 256, 256)
    # 用tf.py_function包裹包含numpy操作的逻辑
    def _bin_py_func(image, mask):
        mask = mask.numpy()
        bins = np.array([20, 40, 60, 80, 100, 120, 140, 160, 180, 200, 220, 240])
        new_mask = np.digitize(mask, bins)
        return image, new_mask.astype(np.float32)
    # 指定输入输出的类型
    cityscape, new_mask = tf.py_function(func=_bin_py_func, inp=[cityscape, mask], Tout=[tf.float32, tf.float32])
    # 手动设置形状，避免后续流水线形状推导出错，按你实际的通道数调整
    cityscape.set_shape((256,256,3))
    new_mask.set_shape((256,256,1))
    return cityscape, new_mask

内容的提问来源于stack exchange，提问作者Voyex