使用Pandas合并多份制表符分隔TXT文件并处理缺失值时Reduce步骤崩溃的解决方案求助

看起来你遇到的崩溃问题主要来自两个方面：索引设置错误和低效合并方式，另外代码里还有几处小bug需要修正。我来一步步帮你解决：

问题分析 #

1. 错误的索引选择：你只把POS设为索引，但实际上一条记录的唯一标识应该是CHROM、POS、REF、ALT的组合（不同染色体可能有相同位置），这会导致合并时出现错误匹配，同时也会增加内存负担。
2. 低效的合并方式：reduce + combine_first在处理大量文件/数据时，会反复进行数据框拼接，容易引发内存溢出导致进程崩溃。
3. 代码中的小错误：
   • 读取文件时没有拼接完整路径（os.listdir只返回文件名，不是完整路径）
   • 保存文件时os.path.join的参数顺序错误，且使用to_string不如to_csv适合TSV格式

正确的解决方案 #

下面是优化后的代码，用更高效的方式实现全外连接并填充缺失值：

import os
import pandas as pd

targetdir = "path/to/my/files/"
# 只读取目录下的txt文件，同时拼接完整路径
filelist = [os.path.join(targetdir, f) for f in os.listdir(targetdir) if f.endswith('.txt')]

# 用字典存储每个样本的数据，键为样本名，值为对应的数据列
sample_dfs = {}

for file_path in filelist:
    df = pd.read_csv(file_path, sep='\t')
    # 获取当前文件的样本列名（即最后一列）
    sample_name = df.columns[-1]
    # 设置联合索引，确保每条记录唯一
    df = df.set_index(['CHROM', 'POS', 'REF', 'ALT'])
    # 只保留样本列，加入字典
    sample_dfs[sample_name] = df[sample_name]

# 一次性完成所有样本的全外连接合并
final_df = pd.concat(sample_dfs.values(), axis=1, join='outer')
# 将缺失值替换为指定的'.'
final_df = final_df.fillna('.')
# 把联合索引变回普通列，恢复输出格式
final_df = final_df.reset_index()

# 保存为格式正确的TSV文件
base_filename = 'out.final.txt'
output_path = os.path.join(targetdir, base_filename)
final_df.to_csv(output_path, sep='\t', index=False)

为什么这样更有效？ #

1. 联合索引确保准确性：用CHROM、POS、REF、ALT作为联合索引，保证每条记录的唯一性，避免跨染色体的位置错误匹配。
2. 高效的合并方式：pd.concat(axis=1, join='outer')一次性完成所有数据框的全外连接，比reduce循环合并的内存效率高得多，适合处理20个文件的规模。
3. 直接处理缺失值：合并后统一用fillna('.')替换缺失值，逻辑清晰且高效。
4. 正确的文件读写：拼接完整文件路径避免找不到文件，用to_csv直接生成格式正确的TSV文件，比to_string更可靠。

额外优化建议 #

如果你的文件非常大（比如每个文件有几百万行），可以考虑分块读取处理，但对于20个常规规模的TSV文件，上面的代码应该足够稳定运行。

内容的提问来源于stack exchange，提问作者user3224522