TensorFlow Keras训练报错：Input is empty问题排查求助

核心原因分析 #

这个错误Input is empty指向decode_image节点，说明TensorFlow尝试解码一个空的或损坏的图像文件，大概率是你的23倍规模数据集中混入了空文件、损坏的PNG文件，或是读取时偶然访问到无效路径。

具体排查与修复步骤 #

1. 扫描数据集里的无效文件 #

写一个简单的Python脚本遍历所有图像文件，检查文件大小和可读取性：

import os
from PIL import Image

data_dir = "你的数据集根目录"
invalid_files = []

for root, _, files in os.walk(data_dir):
    for file in files:
        if file.endswith(".png"):
            file_path = os.path.join(root, file)
            # 检查文件大小是否为0
            if os.path.getsize(file_path) == 0:
                invalid_files.append(file_path)
                continue
            # 尝试用PIL读取，捕获解码错误
            try:
                img = Image.open(file_path)
                img.verify()
            except (IOError, SyntaxError) as e:
                invalid_files.append(file_path)

if invalid_files:
    print(f"发现{len(invalid_files)}个无效文件：")
    for f in invalid_files:
        print(f)
else:
    print("未发现无效文件")

运行后删除所有检测到的无效文件。

2. 在TensorFlow数据管道中添加过滤逻辑 #

即使手动清理后，训练时仍可能遇到意外的无效文件，直接在数据加载流程中跳过无法解码的样本：

import tensorflow as tf

def load_and_preprocess_image(file_path):
    try:
        # 读取文件内容
        img = tf.io.read_file(file_path)
        # 尝试解码，捕获错误
        img = tf.image.decode_png(img, channels=3)
        # 后续预处理步骤（比如resize、归一化）
        img = tf.image.resize(img, (你的目标尺寸, 你的目标尺寸))
        img = img / 255.0
        return img
    except tf.errors.InvalidArgumentError:
        # 返回一个标记值，后续过滤
        return tf.zeros((你的目标尺寸, 你的目标尺寸, 3))

# 构建数据集时添加过滤
train_ds = tf.data.Dataset.list_files(os.path.join(data_dir, "*/*.png"))
train_ds = train_ds.map(lambda x: (load_and_preprocess_image(x), get_label(x)))
# 过滤掉无效样本（这里假设无效样本返回全0图像，可根据实际标记调整）
train_ds = train_ds.filter(lambda img, label: tf.reduce_sum(img) != 0)

3. 检查GCE存储挂载与文件访问权限 #

• 确认你的数据集存储（比如本地磁盘或云存储）在训练过程中没有断开挂载，可通过df -h命令查看磁盘挂载状态。
• 检查虚拟机对数据集文件的读取权限，确保运行训练脚本的用户有读取所有PNG文件的权限，可执行sudo chmod -R 644 你的数据集目录统一设置权限。

4. 禁用自动文件缓存（可选） #

如果之前使用了tf.data.Dataset.cache()，可能缓存了无效文件的信息，暂时注释掉缓存逻辑，训练完成后再重新启用。

内容的提问来源于stack exchange，提问作者g.schindler17