Keras生成器训练36轮后报GeneratorDataset iterator终结错误

一、先排查数据与生成器逻辑硬错误 #

• 校验文件与路径合法性：先打印训练、测试集的文件列表，确认列表长度符合预期，没有混入损坏文件、非CSV文件。把原代码里字符串直接拼接的路径写法替换为os.path.join(file_directory, file)，避免跨平台路径分隔符缺失导致的偶发文件读取失败——这类IO错误会被TensorFlow的生成器迭代器捕获，不会直接抛出原始的文件找不到异常，反而触发你看到的解释器状态报错。另外建议对获取到的文件名做排序，os.listdir返回的文件顺序不固定，若训练过程中目录内有临时文件生成，会导致索引错位读错文件。

train_filenames = sorted([f for f in os.listdir(train_directory) if f.endswith('.csv')])
test_filenames = sorted([f for f in os.listdir(test_directory) if f.endswith('.csv')])

• 修复特征解析逻辑：原代码解析Positions列的写法存在缺陷，如果该列存储的是分隔符拼接的数值字符串，直接逐字符遍历会永远匹配不到'-1'的判断条件，遇到负号会直接跳过，最终生成的特征向量长度不符合768的要求，维度异常的batch会打乱数据流执行状态。替换原有解析逻辑，增加强制校验，遇到脏数据直接抛出，不要静默跳过：

for pos in x:
    # 按实际存储的分隔符拆分，常用逗号/空格
    val_list = pos.split(',')
    curr = []
    for num in val_list:
        num = num.strip()
        if num == '-1':
            curr.append(-1.0)
        elif num == '1':
            curr.append(1.0)
        elif num == '0':
            curr.append(0.0)
        else:
            raise ValueError(f"存在非法特征值: {num}，对应行内容: {pos}")
    if len(curr) != 768:
        raise ValueError(f"特征长度异常，预期768，实际{len(curr)}，对应行内容: {pos}")
    X.append(curr)

• 校验标签合法性：检查Evaluations列所有值是否为数值类型、有没有空值、是否符合sigmoid输出的0-1取值范围，标签异常会导致张量运算报错，间接引发生成器崩溃。

二、修复训练接口与参数bug #

• 移除冗余冲突参数：使用生成器喂数据时，生成器已经返回了批量样本（你当前设置的单batch大小为10000），model.fit中传入的batch_size=256属于无效参数，反而可能干扰TensorFlow内部的batch拆分逻辑，直接删除该参数即可。
• 弃用原生Python生成器接口，改用tf.data.Dataset包装：TF2.x对原生Keras生成器的支持存在已知的生命周期bug，多轮训练后迭代器可能被提前回收，直接触发你看到的报错。改用tf.data接口可以完全规避该问题，同时提升数据加载效率：

batch_size = 10000
# 明确输出张量的形状与类型
output_signature = (
    tf.TensorSpec(shape=(None, 768), dtype=tf.float32),
    tf.TensorSpec(shape=(None,), dtype=tf.float32)
)
train_dataset = tf.data.Dataset.from_generator(
    generate_batches,
    args=(train_filenames, batch_size, train_directory),
    output_signature=output_signature
).prefetch(tf.data.AUTOTUNE)
test_dataset = tf.data.Dataset.from_generator(
    generate_batches,
    args=(test_filenames, batch_size, test_directory),
    output_signature=output_signature
).prefetch(tf.data.AUTOTUNE)

• 调整fit调用参数：将传入的生成器替换为包装好的Dataset对象，删除workers、max_queue_size等对Dataset无效的参数：

model.fit(
    x=train_dataset,
    steps_per_epoch=len(train_filenames),
    epochs=100000,
    callbacks=[stop, save],
    validation_data=test_dataset,
    validation_steps=len(test_filenames)
)

三、排查资源类问题 #

• 监控内存占用：如果使用旧版本pandas，CSV解析过程可能出现内存残留，多轮训练后内存溢出会导致进程被系统直接杀掉，抛出解释器未初始化的错误。可以在生成器每次读完一个文件、yield完所有batch后，手动删除临时变量并触发垃圾回收：

import gc
# 在generate_batches函数内层循环的yield逻辑结束后添加
del data, x, Y, X
gc.collect()

• 控制队列长度：如果暂时不想替换为tf.data接口，可以把max_queue_size从32调小到5以内，同时设置use_multiprocessing=False，避免预取线程和主进程的生成器状态不同步导致的崩溃。

内容的提问来源于stack exchange，提问作者achandra03