Python按指定行数分块读取文件的实现问题与优化咨询

• 计数基准不匹配：你采用文件原始行索引idx（包含空行）作为分块触发依据，但仅将strip()后不为空的行加入chunk列表，两者计数不同步。文件存在空行时，idx的增长速度快于chunk的实际长度，导致分块时机完全不符合预期。
• 触发条件存在偏移：你设置的idx % line_count == 0且idx != 0的触发逻辑本身有计数偏移。比如line_count=2时，idx从0开始计数，要到idx=2才会第一次触发yield，此时已经读取了3行原始内容，分块行数的计数逻辑从根源就存在错误。

基础版本（保留原始空行，按实际行数分块） #

from typing import Generator

def read_chunk(
    *,
    file_path: str,
    line_count: int = 10,
) -> Generator[str, None, None]:
    """按指定行数分块读取文件，返回生成器，每个块为对应行数拼接的字符串"""
    with open(file_path, "r", encoding="utf-8") as f:
        chunk = []
        for line in f:
            # 保留行内容，仅去掉行尾换行符，可根据需求调整处理逻辑
            chunk.append(line.rstrip("\n"))
            # 按chunk实际长度判断是否满块
            if len(chunk) == line_count:
                yield "\n".join(chunk)
                chunk = []
        # 处理最后不足指定行数的剩余块
        if chunk:
            yield "\n".join(chunk)

增强版本（支持跳过空行） #

如果需要先过滤空行再分块，可以增加参数控制：

from typing import Generator

def read_chunk(
    *,
    file_path: str,
    line_count: int = 10,
    skip_empty_line: bool = False
) -> Generator[str, None, None]:
    """按指定行数分块读取文件，支持跳过空行，返回生成器"""
    with open(file_path, "r", encoding="utf-8") as f:
        chunk = []
        for line in f:
            processed_line = line.rstrip("\n")
            if skip_empty_line and not processed_line.strip():
                continue
            chunk.append(processed_line)
            if len(chunk) == line_count:
                yield "\n".join(chunk)
                chunk = []
        if chunk:
            yield "\n".join(chunk)

调用时如果需要跳过空行，传入skip_empty_line=True即可。

内容的提问来源于stack exchange，提问作者rednafi