如何高效查询多个大体积TSV文件并提取指定行？

嘿，处理几十GB级别的TSV文件时，全量加载到pandas里确实是效率杀手——既占内存又慢。给你几个经过实践验证的高效思路，不用完全读取整个文件：

1. Pandas分块读取（Chunksize） #

这是最贴近你现有代码的改进方案，不用换工具，只需要加个chunksize参数把文件拆成小块处理，同时把目标值列表转成集合（集合的成员检查比列表快N倍）：

import pandas as pd
import glob

nums_to_look = {'23462346', '35641264', ... , '35169331'}  # 转成set！
all_tsv_files = glob.glob(PATH_TO_FILES + '*.tsv')
all_dfs = []

for file in all_tsv_files:
    # 分块读取，每次读10万行（可根据内存调整）
    for chunk in pd.read_csv(file, sep='\t', chunksize=10**5):
        filtered_chunk = chunk[chunk['col_of_interest'].isin(nums_to_look)].reset_index(drop=True)
        all_dfs.append(filtered_chunk)

final_df = pd.concat(all_dfs, ignore_index=True)

为什么高效？ 每次只加载一小部分数据到内存，避免了大文件一次性占满内存；集合的isin操作时间复杂度是O(1)，远快于列表的O(n)。

2. 用Python原生csv模块逐行筛选 #

如果你的内存极其紧张（比如只有8G内存处理3GB文件），可以用更底层的csv模块逐行处理，完全不加载整个文件：

import csv
import glob
import pandas as pd

nums_to_look = {'23462346', '35641264', ... , '35169331'}
all_rows = []

for file in all_tsv_files:
    with open(file, 'r', newline='', encoding='utf-8') as f:
        reader = csv.DictReader(f, delimiter='\t')
        # 先保存表头
        if not all_rows:
            all_rows.append(reader.fieldnames)
        # 逐行检查
        for row in reader:
            if row['col_of_interest'] in nums_to_look:
                all_rows.append(list(row.values()))

# 转成DataFrame
final_df = pd.DataFrame(all_rows[1:], columns=all_rows[0])

为什么高效？ 逐行读取只在内存中保留当前行，内存占用几乎可以忽略，适合极端内存受限的场景。

3. 用命令行工具预处理（最快方案） #

如果你熟悉命令行，用grep（Linux/macOS）或findstr（Windows）先过滤文件，再用pandas处理过滤后的小文件，速度会快到离谱——因为这些工具是C语言实现的，比Python快几个数量级：

步骤： #

1. 把目标值nums_to_look每行一个保存到targets.txt文件里
2. 用grep过滤每个TSV文件：

# 保留表头 + 匹配行（假设表头在第一行）
head -n 1 input.tsv > filtered.tsv
grep -F -f targets.txt input.tsv >> filtered.tsv

3. 最后用pandas读取filtered.tsv即可

为什么高效？ 命令行工具的文本处理效率远高于Python，适合一次性处理大量文件的场景。

4. 用Dask进行并行处理 #

如果你的机器有多核心，用Dask可以自动并行处理多个文件和分块，代码风格和pandas几乎一致，还能利用多核加速：

import dask.dataframe as dd
import glob

nums_to_look = {'23462346', '35641264', ... , '35169331'}
all_tsv_files = glob.glob(PATH_TO_FILES + '*.tsv')

# Dask延迟加载所有文件
ddf = dd.read_csv(all_tsv_files, sep='\t')
# 筛选行
filtered_ddf = ddf[ddf['col_of_interest'].isin(nums_to_look)]
# 计算得到最终的pandas DataFrame
final_df = filtered_ddf.compute()

为什么高效？ Dask会自动拆分任务到多个核心并行执行，同时不会一次性加载全部数据，适合多文件+多核的场景。

内容的提问来源于stack exchange，提问作者Vash