如何通过for循环实现生成器输入的批量数据迭代处理

你完全可以去掉冗余的while True+空值判断结构，用标准库能力直接实现要求的for循环写法，行为和原有逻辑完全一致。

纯标准库通用写法（兼容所有Python3版本） #

利用双参数模式的iter()函数即可实现，直接替换你代码里的循环部分：

import itertools

# 原有输入生成器定义保持不变
input_gen = ((vals[0], vals[0]) for block in input_file for vals in block.split())

# 简洁for循环写法
for batch in iter(lambda: tuple(itertools.islice(input_gen, 42)), ()):
    # 在这里写批次处理逻辑
    process(batch)

实现原理 #

• 传入两个参数时，iter(callable, sentinel)会反复调用第一个无参可调用对象，将返回值作为迭代产出内容；当某次返回值和第二个哨兵值完全相等时，自动终止迭代，无需手动写break判断。
• 这里每次迭代都会执行lambda: tuple(itertools.islice(input_gen, 42))，从输入生成器中最多切出42个元素打包为元组；当生成器耗尽时，islice返回空迭代器，转成元组就是空元组()，正好匹配哨兵值，循环自动结束。

注意：该写法用空元组作为终止标记，只要你的正常批次是长度大于0的元组（最后一批不足42个元素也满足长度>0），就不会出现逻辑冲突，和原while循环行为完全一致。

更直观的封装写法 #

如果多处用到分批逻辑，可以封装成通用生成器：

import itertools

def batched(iterable, batch_size):
    iterator = iter(iterable)
    while True:
        batch = tuple(itertools.islice(iterator, batch_size))
        if not batch:
            return
        yield batch

# 调用方式
for batch in batched(input_gen, 42):
    process(batch)

Python3.12+ 官方内置方案 #

从Python 3.12开始，标准库itertools已经内置了分批函数，不需要自己实现：

import itertools

for batch in itertools.batched(input_gen, 42):
    process(batch)

内置的batched方法做了额外的性能优化，运行效率比手写的lambda或自定义生成器更高，版本满足的话优先使用。

内容的提问来源于stack exchange，提问作者Anton K