如何基于多列按行合并多个文件？

嘿，我来帮你搞定多文件按行合并的事儿！看你的文件格式，都是以Contig和Position这两列作为共同标识来合并的对吧？下面给你几个实用的方法，都是日常处理这类表格文件常用的：

join是系统自带的文本处理工具，不过它要求输入文件是按合并键排序好的，所以步骤分两步：

• 先给每个文件按Contig和Position排序（-k1,1按第一列字符串排序，-k2,2n按第二列数字排序）：

  sort -k1,1 -k2,2n file1.tab > sorted_file1.tab
  sort -k1,1 -k2,2n file2.tab > sorted_file2.tab
  

• 然后用join按前两列合并，指定制表符为分隔符（因为你的文件是tab分隔的）：

  join -t $'\t' -1 1 -2 1 -1 2 -2 2 sorted_file1.tab sorted_file2.tab > merged.tab
  

  简单解释参数：-t $'\t'告诉join用制表符分隔列；-1 1 -2 1和-1 2 -2 2表示同时用两个文件的第1列和第2列作为合并的键，这样就能精准匹配到同一位置的行。

awk不用提前排序，直接就能处理多个文件，适合需要自定义合并规则的场景。先写一个脚本文件merge.awk：

BEGIN { FS = "\t"; OFS = "\t" }  # 设置输入输出分隔符为制表符
NR == FNR {
    # 处理第一个文件，把每行内容存在数组里，键是Contig+Position的组合
    key = $1 "\t" $2
    row[key] = $0
    next
}
{
    # 处理后续文件，查找对应的键
    key = $1 "\t" $2
    if (key in row) {
        # 如果找到匹配的键，拼接两个文件的行内容
        print row[key], substr($0, index($0, $3))  # 从第3列开始取第二个文件的内容
    } else {
        # 如果第一个文件没有这个键，也可以输出（按需调整，这里是保留第二个文件的行，补空）
        print $1, $2, "", "", "", substr($0, index($0, $3))
    }
}

然后运行命令：

awk -f merge.awk file1.tab file2.tab > merged.tab

这个脚本的好处是，你可以随时修改逻辑，比如要保留所有不匹配的行，或者调整列的顺序，都很方便。

如果你需要做后续的数据分析、过滤或者可视化，用pandas会更直观，代码也容易理解：

import pandas as pd

# 读取两个tab文件，指定分隔符为制表符
df1 = pd.read_csv("file1.tab", sep="\t")
df2 = pd.read_csv("file2.tab", sep="\t")

# 基于Contig和Position列合并，how参数控制合并方式：
# - "inner"：只保留两个文件都有的行（默认）
# - "outer"：保留所有行，缺失的列补NaN
# - "left"：保留第一个文件的所有行
# - "right"：保留第二个文件的所有行
merged_df = pd.merge(df1, df2, on=["Contig", "Position"], how="inner")

# 把合并后的结果保存为tab文件，不保留索引列
merged_df.to_csv("merged.tab", sep="\t", index=False)

如果有多个文件（比如file3、file4），可以循环读取然后依次合并，比如：

# 示例：合并多个文件
file_list = ["file1.tab", "file2.tab", "file3.tab"]
merged_df = pd.read_csv(file_list[0], sep="\t")
for file in file_list[1:]:
    df = pd.read_csv(file, sep="\t")
    merged_df = pd.merge(merged_df, df, on=["Contig", "Position"], how="outer")
merged_df.to_csv("all_merged.tab", sep="\t", index=False)

小提示 #

• 确认你的文件确实是制表符分隔的，如果是空格或者其他分隔符，要对应调整FS、sep等参数。
• 如果文件里有重复的Contig+Position组合，要提前考虑怎么处理（比如去重或者保留所有行），pandas可以用duplicated()去重，awk也可以加判断逻辑。

内容的提问来源于stack exchange，提问作者Andy S. C.