使用TensorFlow IO加载TIFF图像遇断言错误的解决方案咨询

我之前在Windows环境下使用TensorFlow IO开发版本加载TIFF图像时，也碰到过一模一样的libtiff断言错误和程序卡死问题。结合你“仅用TensorFlow生态、借助tf.data提升性能”的需求，这里给你几个可行的优化方案：

你当前使用的TensorFlow IO是开发预览版（0.15.0.dev20201015），这类版本通常存在未修复的底层兼容性问题（尤其是libtiff编译适配）。建议：

• 先卸载现有tfio：pip uninstall tensorflow-io -y
• 安装与TensorFlow 2.3匹配的正式稳定版tfio：pip install tensorflow-io==0.15.0
• 如果项目允许升级TensorFlow，更建议升级到2.4+版本，搭配tfio 0.18+，这些版本对TIFF加载的兼容性和稳定性都有明显提升

如果暂时无法升级依赖，可以通过tf.py_function将Python的PIL库解码逻辑嵌入tf.data流水线，既保留并行加载的性能，又避开tfio的底层bug。代码示例如下：

import tensorflow as tf
from PIL import Image
import numpy as np

# 初始化数据集
list_ds = tf.data.Dataset.from_tensor_slices(df['image_path'].values)
image_count = 86
val_size = int(image_count * 0.2)
train_ds = list_ds.skip(val_size)
val_ds = list_ds.take(val_size)

def decode_with_pil(file_path):
    # 从tensor中提取字符串路径，用PIL加载TIFF
    img_path = file_path.numpy().decode('utf-8')
    img = Image.open(img_path)
    # 调整尺寸并转为numpy数组
    img = img.resize((256, 256))
    return np.array(img)

def process_path(file_path):
    # 用tf.py_function包装Python解码逻辑，指定输出类型
    img = tf.py_function(
        func=decode_with_pil,
        inp=[file_path],
        Tout=tf.uint8  # 根据你的图像通道数调整，灰度图可后续扩展维度
    )
    # 显式设置图像形状，确保tf.data流水线的类型一致性
    img.set_shape((256, 256, 3))  # 灰度图改为(256, 256, 1)
    # 可选：归一化到[0,1]范围
    img = tf.cast(img, tf.float32) / 255.0
    return img

AUTOTUNE = tf.data.experimental.AUTOTUNE
# 优化流水线：并行处理+缓存+预取
train_ds = train_ds.map(process_path, num_parallel_calls=AUTOTUNE)\
                   .cache()\
                   .prefetch(AUTOTUNE)
val_ds = val_ds.map(process_path, num_parallel_calls=AUTOTUNE)\
                 .cache()\
                 .prefetch(AUTOTUNE)

这个方案的优势：

• 利用PIL成熟稳定的TIFF解码能力，彻底避开tfio的libtiff错误
• 通过tf.py_function将Python逻辑整合进tf.data，依然能享受num_parallel_calls带来的并行加载效率
• 添加cache()（内存足够时）可缓存处理后的图像，prefetch(AUTOTUNE)让数据加载与模型训练并行，进一步提升整体性能

如果数据集允许一次性预处理，建议先将所有TIFF图像批量转换为PNG/JPG格式。这样就能直接用TensorFlow原生的tf.io.decode_png/tf.io.decode_jpeg加载，完全规避TIFF的兼容性问题，同时tf.data流水线会更稳定高效。转换脚本可以用PIL批量实现：

import os
from PIL import Image

def convert_tiff_to_png(tiff_dir, output_dir):
    os.makedirs(output_dir, exist_ok=True)
    for filename in os.listdir(tiff_dir):
        if filename.endswith('.tif') or filename.endswith('.tiff'):
            img_path = os.path.join(tiff_dir, filename)
            img = Image.open(img_path)
            output_path = os.path.join(output_dir, filename.replace('.tif', '.png').replace('.tiff', '.png'))
            img.save(output_path, 'PNG')

# 调用示例
convert_tiff_to_png('path/to/tiff_dataset', 'path/to/png_dataset')

可视化测试小技巧 #

测试时建议先给数据集添加batch操作，避免直接加载单张图像可能出现的异常：

train_ds_batch = train_ds.batch(4)
image_batch = next(iter(train_ds_batch))
# 后续可视化image_batch中的图像即可

内容的提问来源于stack exchange，提问作者Arun Rajora