如何在Keras中使用动态生成的无限训练数据流？

针对无限数据集的训练需求，完全不需要用keras.utils.Sequence（它本来就是给有限数据集设计的），下面两种方案更适配你的场景：

方案一：原生Python生成器 + model.fit() #

直接写一个能持续输出样本的Python生成器函数，Keras的model.fit()可以直接接收这种生成器，不需要固定数据集长度。

示例代码： #

def infinite_train_generator():
    while True:
        # 调用你已有的样本生成代码，生成单条或一批样本
        x = generate_input_sample()  # 生成输入数据
        y = generate_label_sample()  # 生成对应标签
        yield (x, y)  # 按(x, y)格式输出，也可以一次输出一批

# 训练时指定每个epoch跑多少步（因为数据集无限，需要手动定步数）
model.fit(
    infinite_train_generator(),
    steps_per_epoch=1000,  # 每个epoch执行1000步（每步对应一个batch或单样本）
    epochs=50,  # 训练总轮数
    validation_data=...  # 如果有验证集，同样可以用生成器传入
)

注意：如果生成器是单样本输出，model.fit会自动按batch_size参数打包成批次；如果生成器本身输出批次，就不用设batch_size。

方案二：tf.data.Dataset构建无限数据流 #

用TensorFlow的tf.data.Dataset封装生成器，能利用TF的并行预处理、多线程加载等优化，适合复杂训练场景。

示例代码： #

import tensorflow as tf

def infinite_train_generator():
    while True:
        x = generate_input_sample()
        y = generate_label_sample()
        yield (x, y)

# 定义输出数据的格式（必须和生成器输出匹配）
output_signature = (
    tf.TensorSpec(shape=(你的输入维度,), dtype=tf.float32),
    tf.TensorSpec(shape=(你的标签维度,), dtype=tf.float32)
)

# 构建无限数据集并设置批次
train_dataset = tf.data.Dataset.from_generator(
    infinite_train_generator,
    output_signature=output_signature
).batch(32)  # 按32个样本打包成批次

# 训练时同样指定steps_per_epoch
model.fit(
    train_dataset,
    steps_per_epoch=1000,
    epochs=50
)

这种方案还可以链式添加预处理操作，进一步提升效率：

train_dataset = train_dataset.map(your_preprocess_function, num_parallel_calls=tf.data.AUTOTUNE)
train_dataset = train_dataset.prefetch(tf.data.AUTOTUNE)

关键说明 #

• 不用纠结Sequence的__len__问题：它是为有限数据集设计的，用来计算每个epoch的步数，完全不适合无限数据流场景。
• steps_per_epoch的作用：因为数据集无限，Keras无法自动判断一个epoch何时结束，所以需要手动指定每个epoch要执行的步数（一般按计算资源和训练需求设置，比如每epoch跑1000个batch）。

内容的提问来源于stack exchange，提问作者codebox