基于Augustus预测基因的DataFrame与FASTA文件匹配提取需求

我来帮你梳理一下具体的解决步骤，从明确映射关系到最终生成新DataFrame，每一步都给你写清楚：

1. 先明确后缀与CSV文件的对应映射 #

首先得把FASTA基因名后缀和对应的CSV文件关联起来，比如根据你提到的命名规则，我们可以先定义一个字典来存储这个映射（你可以根据实际后缀格式调整）：

# 后缀 -> 对应CSV文件的映射，按需修改
suffix_to_csv = {
    "_0035_0035": "ggf_0035_0035.csv",
    "_0035_0042": "ggf_0035_0042.csv",
    "_0042_0035": "ggf_0042_0035.csv",
    "_0042_0042": "ggf_0042_0042.csv"
}

2. 解析FASTA文件提取基因名与对应后缀 #

我们可以用Biopython的SeqIO来高效读取FASTA文件，提取每个基因的ID并匹配对应的后缀和CSV文件（如果不用Biopython，手动逐行读也可以，但库会更省心）：

from Bio import SeqIO
import pandas as pd

# 存储基因名和对应CSV的映射关系
gene_mapping = []
# 替换成你的FASTA文件路径
for record in SeqIO.parse("your_target.fasta", "fasta"):
    gene_full_id = record.id
    # 匹配后缀，这里假设后缀是基因ID的结尾部分，按需调整匹配逻辑
    matched = False
    for suffix, csv_path in suffix_to_csv.items():
        if gene_full_id.endswith(suffix):
            # 去掉后缀得到CSV中的基因名
            gene_clean_id = gene_full_id[:-len(suffix)]
            gene_mapping.append({
                "clean_gene_id": gene_clean_id,
                "full_gene_id": gene_full_id,
                "csv_file": csv_path
            })
            matched = True
            break
    if not matched:
        print(f"注意：基因{gene_full_id}没有匹配到任何后缀规则，已跳过")

如果你的后缀格式不是结尾匹配，比如是用|或者其他分隔符，建议用正则表达式来提取，比如用re.search(r"(_\d{4}_\d{4})$", gene_full_id)来精准匹配_xxxx_xxxx格式的后缀

3. 预加载所有CSV到DataFrame字典 #

为了避免重复读取文件，我们先把所有CSV文件加载到一个字典里，键是文件名，值是对应的DataFrame，同时把基因名列设为索引，方便后续快速查找：

df_dict = {}
for csv_file in suffix_to_csv.values():
    # 读取CSV，假设基因名列是'gene_id'，替换成你实际的列名
    temp_df = pd.read_csv(csv_file)
    # 设置索引加速查找
    df_dict[csv_file] = temp_df.set_index("gene_id")

4. 匹配提取并生成最终DataFrame #

现在我们可以遍历之前的基因映射列表，从对应的DataFrame中提取目标基因行，最后合并成新的DataFrame：

final_data = []
for mapping_item in gene_mapping:
    clean_id = mapping_item["clean_gene_id"]
    csv_path = mapping_item["csv_file"]
    target_df = df_dict[csv_path]
    
    # 检查基因是否存在于对应DataFrame中
    if clean_id in target_df.index:
        # 提取该行并保留原始带后缀的基因名
        extracted_row = target_df.loc[[clean_id]].copy()
        extracted_row["original_gene_id"] = mapping_item["full_gene_id"]
        final_data.append(extracted_row)
    else:
        print(f"警告：基因{clean_id}在文件{csv_path}中未找到，已跳过")

# 合并所有提取的行
final_df = pd.concat(final_data, axis=0)
# 可以重置索引让结果更整洁
final_df = final_df.reset_index(drop=True)

优化小技巧 #

如果你的数据量很大，循环查找效率不高，可以把基因映射转成DataFrame，用merge的方式批量处理：

# 把映射列表转成DataFrame
mapping_df = pd.DataFrame(gene_mapping)
final_df = pd.DataFrame()

# 遍历每个CSV文件，批量合并匹配的基因
for csv_file, df in df_dict.items():
    # 筛选出当前CSV对应的基因映射
    subset_mapping = mapping_df[mapping_df["csv_file"] == csv_file]
    # 合并映射和CSV数据
    merged = subset_mapping.merge(df.reset_index(), left_on="clean_gene_id", right_on="gene_id", how="left")
    final_df = pd.concat([final_df, merged], axis=0)

final_df = final_df.reset_index(drop=True)

内容的提问来源于stack exchange，提问作者Grendel