冗余基因列表简化及单基因ID对应多值的格式转换需求

嗨，我来帮你搞定这两个基因数据处理的问题，结合Markdown格式给你清晰的实操方案👇

如果你的目标是去掉重复的基因条目（基于基因ID，或者基因ID+属性组合），可以用以下快速方法：

命令行（awk）方案 #

• 按基因ID去重，保留每个基因的第一行数据：

  awk '!seen[$1]++' input.txt > unique_genes.txt
  

• 按基因ID+属性组合去重（避免同一基因不同属性被误删）：

  awk '!seen[$1,$2]++' input.txt > unique_gene_attr.txt
  

Python（pandas）方案 #

如果你更熟悉Python，用pandas一行就能搞定去重：

import pandas as pd
df = pd.read_csv("input.txt", sep=" ", header=None, names=["GeneID", "Attribute", "Value"])
# 按基因ID去重，保留第一条
df_unique = df.drop_duplicates(subset=["GeneID"], keep="first")
df_unique.to_csv("unique_genes.csv", sep="\t", index=False)

针对你提到的「单个基因ID对应多个第三列数值」的情况，我们可以把同一基因（或基因+属性）的所有数值合并到一行，具体实现如下：

命令行（awk）脚本 #

创建一个名为merge_gene_values.awk的脚本文件，内容如下：

BEGIN {
    FS = " ";  # 设置输入分隔符为空格
    OFS = "\t" # 设置输出分隔符为制表符，也可以改成空格或逗号
}
{
    # 用基因ID+属性作为唯一键
    key = $1 OFS $2
    # 拼接数值，首次添加直接赋值，后续用逗号分隔
    values[key] = values[key] (values[key] ? "," : "") $3
}
END {
    # 遍历输出所有合并后的结果
    for (k in values) {
        print k, values[k]
    }
}

然后在终端运行：

awk -f merge_gene_values.awk input.txt > formatted_output.txt

比如你提供的示例数据，输出会变成：

TMCS09g1008676 fleshy 0.000234939,1.38379E-05

Python（pandas）方案 #

用pandas的分组功能更直观：

import pandas as pd

# 读取原始数据
df = pd.read_csv("input.txt", sep=" ", header=None, names=["GeneID", "Attribute", "Value"])

# 按基因ID+属性分组，合并所有数值（用逗号分隔）
merged_df = df.groupby(["GeneID", "Attribute"])["Value"].apply(", ".join).reset_index()

# 保存格式化后的结果
merged_df.to_csv("formatted_output.csv", sep="\t", index=False)

注意：如果你的数据中同一基因对应不同属性，一定要保留Attribute作为分组键，不然会把不同属性的数值错误合并到一起！

内容的提问来源于stack exchange，提问作者mightaskalot