将200+单列大文件按行合并为多列表格的技术问询

针对你有200余个单列大文件（每个76M行）需要横向拼接的需求，优先推荐使用Unix/Linux系统自带的paste命令——这是专门为这类场景设计的工具，完全符合你“低内存占用”的要求，而且实现起来非常简单。

核心解决方案：paste命令 #

paste的工作原理是逐行读取所有输入文件的对应行，用制表符（默认分隔符）拼接后输出，全程不会把任何文件的全部内容加载到内存，内存占用极低，完美适配你的大文件场景。

具体用法 #

1. 如果文件命名有规律（比如file_001.txt到file_200.txt），直接用通配符匹配：

paste file_*.txt > newfile.txt

注意：如果是数字命名，建议先用ls -v确认文件名顺序，避免出现file_10.txt排在file_2.txt前面的情况。

2. 如果文件名无规律或需要指定顺序：
   先把所有要拼接的文件名按你需要的顺序写入一个文本文件（比如file_list.txt），每行一个文件名：

# 示例：按自定义顺序写入，或用ls排序后导出
ls -v ./your_data_dir/*.txt > file_list.txt

然后用paste读取这个列表里的文件：

paste $(< file_list.txt) > newfile.txt

为什么paste比循环追加更合适？ #

你之前尝试的循环方案（比如逐个文件追加列）会反复读取输出文件，不仅效率极低，还会随着输出文件增大占用更多内存。而paste是一次性处理所有输入文件，逐行拼接后直接写入输出，全程只缓存当前行的内容，内存占用几乎可以忽略。

备选方案：Python低内存脚本 #

如果你的环境无法使用paste命令（比如Windows系统没有默认安装），可以用Python写一个逐行处理的脚本，同样保证低内存：

import sys

def merge_files(output_path, input_paths):
    # 打开所有输入文件
    input_files = []
    for path in input_paths:
        try:
            f = open(path, 'r')
            input_files.append(f)
        except Exception as e:
            print(f"Failed to open {path}: {e}", file=sys.stderr)
            # 关闭已打开的文件
            for opened_f in input_files:
                opened_f.close()
            sys.exit(1)
    
    with open(output_path, 'w') as outfile:
        while True:
            # 逐行读取每个文件的一行
            current_lines = []
            end_of_file = False
            for f in input_files:
                line = f.readline()
                if not line:
                    end_of_file = True
                    break
                # 去掉换行符，避免拼接后出现多余换行
                current_lines.append(line.rstrip('\n'))
            
            if end_of_file:
                break
            # 用制表符拼接并写入
            outfile.write('\t'.join(current_lines) + '\n')
    
    # 关闭所有输入文件
    for f in input_files:
        f.close()

if __name__ == "__main__":
    if len(sys.argv) < 3:
        print(f"Usage: {sys.argv[0]} <output_file> <input_file1> <input_file2> ...", file=sys.stderr)
        sys.exit(1)
    merge_files(sys.argv[1], sys.argv[2:])

运行方式：

python3 merge_files.py newfile.txt file1.txt file2.txt ... file200.txt

这个脚本会逐个打开输入文件，每次读取一行内容拼接后写入输出，同样不会加载整个文件到内存，只是效率比paste稍低。

内容的提问来源于stack exchange，提问作者Ehi Akhirome