如何使用Python高效读取双空行分隔的块结构数据文件？

我有大量结构统一的数据文件，数据样例如下：

1 1 2 4
1 2 2 5
1 3 5 7
.
.
.
1 n 2 6


2 1 3 4
2 2 3 6
2 3 5 9
.
.
.
2 n 7 10

3 1 32 54
3 2 4 7
3 3 9 11
.
.
.
3 n 98 102


.
.
.


m 1 2 1
m 2 4 61
m 3 5 8
.
.
.
m n 3 12

文件规则说明：

• 数据按块组织，各数据块之间通过2个连续空行分隔
• 样例中的省略号为数学表述中的常规省略用法
• 不同文件对应的n、m取值均不固定

已知gnuplot可以处理这类格式的数据，但需要实现更多自定义处理逻辑，核心需求有两个：

1. 找到最高效的Python读取这类数据文件的实现方式
2. 找到更合适的相关检索关键词——之前使用block data python作为关键词检索未得到优质结果

这类分块数值文件最高效的读取思路是单次逐行流式处理，不需要一次性加载全量文件到内存，内存占用恒定，即使是GB级大文件也能稳定处理，核心逻辑：

• 维护临时列表存储当前正在读取的块数据，维护连续空行计数器
• 逐行遍历文件：遇到非空行时重置空行计数器，解析行内数值追加到当前块
• 遇到空行时累加计数器，当计数器达到2时说明碰到块分隔符，此时如果当前块有数据，就输出块、清空临时存储、重置计数器
• 遍历完整个文件后，检查临时存储中是否剩余最后一个未输出的块，避免遗漏末尾数据

原生Python无额外依赖的实现代码如下：

def iter_data_blocks(file_path, dtype=float):
    """
    逐块迭代读取双空行分隔的数值数据文件
    :param file_path: 数据文件路径
    :param dtype: 数值解析类型，整数数据可传int
    """
    current_block = []
    empty_line_streak = 0
    with open(file_path, 'r') as f:
        for line in f:
            stripped_line = line.strip()
            if not stripped_line:
                empty_line_streak += 1
                # 检测到块分隔符（连续2空行）
                if empty_line_streak == 2 and current_block:
                    yield current_block
                    current_block = []
                    empty_line_streak = 0
                continue
            # 处理非空数据行
            empty_line_streak = 0
            row = list(map(dtype, stripped_line.split()))
            current_block.append(row)
    # 处理文件末尾的最后一个块
    if current_block:
        yield current_block

# 使用方式：逐块处理，内存占用极低
if __name__ == "__main__":
    for block in iter_data_blocks("your_data.txt", dtype=int):
        # 在此处编写自定义块处理逻辑即可
        # 如果需要做数值计算，可直接转numpy数组：block_arr = np.array(block)
        print(f"读取到数据块，共{len(block)}行")

如果需要更高的数值计算性能，只需要在yield时将块转为numpy数组即可，处理速度比纯Python列表高1~2个数量级。

之前使用的关键词过于宽泛，替换为以下关键词可以检索到更精准的相关内容：

• python read double blank line separated numerical data
• python parse gnuplot style multi-block data file
• python stream read text file chunks by empty line delimiter

内容的提问来源于stack exchange，提问作者Love Grover