超大型制表符分隔文本文件的列筛选方案问询

针对你这种超大型TSV文件的列筛选需求，我整理了几个简洁高效的方案——优先Python实现，也包含R和bash的选项，全部都是基于列名操作，完全不用把20GB的文件整个塞进内存：

Python 方案（优先推荐） #

方法1：Pandas 直接指定列（最省心） #

如果你平时习惯用Pandas，这个方法最简洁。Pandas的read_csv支持通过usecols参数直接筛选列，它会先读取表头，只加载你需要的列，不会碰其他28800列的数据：

import pandas as pd

# 先读取目标列名文件（假设每行一个列名）
with open("target_columns.txt", "r") as f:
    target_cols = [line.strip() for line in f]

# 只加载目标列，sep指定制表符，low_memory=False避免类型推断的警告
filtered_df = pd.read_csv(
    "huge_file.tsv",
    sep="\t",
    usecols=lambda col: col in target_cols,
    low_memory=False
)

# 保存结果
filtered_df.to_csv("filtered_file.tsv", sep="\t", index=False)

如果你的内存连1200列×20000行的数据都放不下，可以结合chunksize分块处理，逐块写入结果文件：

import pandas as pd

with open("target_columns.txt", "r") as f:
    target_cols = [line.strip() for line in f]

# 分块大小根据你的内存调整，比如每次读1000行
chunk_size = 1000

# 先写表头到结果文件
with open("filtered_file.tsv", "w") as out_file:
    out_file.write("\t".join(target_cols) + "\n")

# 分块读取并写入
for chunk in pd.read_csv(
    "huge_file.tsv",
    sep="\t",
    usecols=target_cols,
    chunksize=chunk_size,
    low_memory=False
):
    # 写入时不要带表头，避免重复
    chunk.to_csv(out_file, sep="\t", index=False, header=False, mode="a")

方法2：内置CSV模块（最省内存） #

如果连Pandas的内存开销都觉得大，用Python内置的csv模块是最优解——它逐行处理文件，内存占用几乎可以忽略：

import csv

# 读取目标列名，转成集合方便快速判断
with open("target_columns.txt", "r") as f:
    target_cols = set(line.strip() for line in f)

with open("huge_file.tsv", "r") as in_file, open("filtered_file.tsv", "w") as out_file:
    # 用DictReader按列名读取每行
    reader = csv.DictReader(in_file, delimiter="\t")
    # 用DictWriter只写入目标列
    writer = csv.DictWriter(out_file, fieldnames=target_cols, delimiter="\t")
    
    writer.writeheader()
    for row in reader:
        # 只保留目标列的内容
        filtered_row = {col: row[col] for col in target_cols if col in row}
        writer.writerow(filtered_row)

R 方案 #

Data.Table 高效处理大文件 #

R里处理超大文件首推data.table包，它的fread速度快、内存效率高，select参数直接指定要保留的列：

library(data.table)

# 读取目标列名
target_cols <- readLines("target_columns.txt")

# 读取并筛选列
filtered_dt <- fread("huge_file.tsv", select = target_cols)

# 保存结果
fwrite(filtered_dt, "filtered_file.tsv", sep = "\t")

Readr 包方案 #

如果你习惯用tidyverse生态，readr的read_tsv也支持通过cols_only筛选列：

library(readr)

target_cols <- read_lines("target_columns.txt")
# 构造cols_only的参数，指定所有目标列为字符型（也可以根据实际类型调整）
col_specs <- setNames(rep("c", length(target_cols)), target_cols)
filtered_df <- read_tsv("huge_file.tsv", cols_only(!!!col_specs))

write_tsv(filtered_df, "filtered_file.tsv")

Bash 方案（无需编程环境） #

如果你的环境没有Python/R，用awk可以高效完成列筛选——先找出目标列的索引，再逐行提取对应列：

# 1. 读取目标列名到数组
mapfile -t target_cols < target_columns.txt

# 2. 获取原文件表头，找出目标列的索引（awk索引从1开始）
header=$(head -n1 huge_file.tsv)
indices=$(echo "$header" | awk -v cols="${target_cols[*]}" '
BEGIN {
    split(cols, target_list, " ")
    for (i in target_list) target_set[target_list[i]] = 1
}
{
    for (i=1; i<=NF; i++) {
        if ($i in target_set) printf "%d ", i
    }
}')

# 3. 用awk提取对应列并保存
awk -v indices="$indices" '
BEGIN {
    split(indices, idx_array, " ")
    num_cols = length(idx_array)
}
NR == 1 {
    # 打印表头
    for (i=1; i<=num_cols; i++) {
        printf "%s%s", $(idx_array[i]), (i==num_cols ? "\n" : "\t")
    }
}
NR > 1 {
    # 打印内容行
    for (i=1; i<=num_cols; i++) {
        printf "%s%s", $(idx_array[i]), (i==num_cols ? "\n" : "\t")
    }
}' huge_file.tsv > filtered_file.tsv

这些方案都不需要加载整个大文件到内存，完全基于列名筛选，你可以根据自己的环境和习惯选择合适的方法。

内容的提问来源于stack exchange，提问作者Bin