按chr值快速拆分超大文件并写入磁盘的最优方法咨询

针对你要拆分超大TSV文件到按chr字段分文件的需求，我来分享几个高效的Pandas实现方案，尤其是兼顾速度和内存的方法：

核心思路：避免全量加载 #

首先得明确，超大文件直接用pd.read_csv全量加载肯定会爆内存，所以核心思路是分块读取+增量写入——每次读一小部分数据，处理后追加到对应文件，既省内存又能保证速度。

方案1：分块读取+Pandas增量写入（基础高效版） #

这个方案用Pandas原生的分块功能，代码简洁，适合大多数场景：

import pandas as pd
from pathlib import Path

# 提前创建输出目录，避免报错
output_dir = Path("chr_split_output")
output_dir.mkdir(exist_ok=True)

# 分块读取文件，chunksize根据你的内存调整（比如10万行/块，内存小就调小）
chunk_iterator = pd.read_csv(
    "my_file.txt",
    sep='\t',
    chunksize=100000,
    # 可选：指定字段类型，减少内存占用，加快读取速度
    dtype={
        'chr': int,
        'a_val': int,
        'b_val': str,
        'a_idx': str
    }
)

for chunk in chunk_iterator:
    # 按chr字段分组
    grouped_chunks = chunk.groupby('chr')
    for chr_value, group_data in grouped_chunks:
        # 构造输出文件名
        output_file = output_dir / f"chr_{chr_value}.txt"
        # 第一次写入时加表头，后续追加不加表头
        if not output_file.exists():
            group_data.to_csv(output_file, sep='\t', index=False)
        else:
            group_data.to_csv(output_file, sep='\t', index=False, header=False, mode='a')

方案2：用csv模块替代to_csv（更快进阶版） #

Pandas的to_csv在频繁小批量写入时会有一定开销，换成Python内置的csv模块直接写入，速度会提升不少，适合追求极致效率的场景：

import pandas as pd
import csv
from pathlib import Path

output_dir = Path("chr_split_output")
output_dir.mkdir(exist_ok=True)

# 缓存每个chr对应的文件句柄和writer对象，避免重复打开文件
chr_writers = {}
# 记录哪些chr已经写入过表头
header_written = set()

chunk_iterator = pd.read_csv(
    "my_file.txt",
    sep='\t',
    chunksize=100000,
    dtype={'chr': int, 'a_val': int, 'b_val': str, 'a_idx': str}
)

for chunk in chunk_iterator:
    grouped_chunks = chunk.groupby('chr')
    for chr_value, group_data in grouped_chunks:
        output_file = output_dir / f"chr_{chr_value}.txt"
        # 如果该chr还没有对应的writer，创建并保存
        if chr_value not in chr_writers:
            file_handle = open(output_file, 'a', newline='', encoding='utf-8')
            writer = csv.writer(file_handle, delimiter='\t')
            chr_writers[chr_value] = (file_handle, writer)
            # 写入表头（仅第一次）
            if chr_value not in header_written:
                writer.writerow(group_data.columns.tolist())
                header_written.add(chr_value)
        # 把DataFrame数据转成列表，直接写入
        _, writer = chr_writers[chr_value]
        writer.writerows(group_data.values.tolist())

# 最后记得关闭所有文件句柄
for handle, _ in chr_writers.values():
    handle.close()

关键优化技巧 #

• 指定dtype：提前给每个字段指定合适的数据类型（比如chr设为int，字符串字段设为str），能大幅减少内存占用，加快读取速度。
• 调整chunksize：根据你的可用内存调整，内存大可以设大一点（比如50万行），内存小就设小一点，平衡读取效率和内存占用。
• 提前创建输出目录：避免循环中每次判断目录是否存在，节省时间。

总结 #

如果是超大型文件，优先选方案2，用csv模块写入的速度比Pandas原生to_csv快不少；如果追求代码简洁，方案1完全够用。两种方案都能避免全量加载内存，适合处理你说的超大文件场景。

内容的提问来源于stack exchange，提问作者everestial