无循环实现两个DataFrame关联合并的技术方法问询

核心思路 #

直接用Pandas的向量化操作替代嵌套循环，靠str.split()、explode()、groupby.agg()和merge()这些内置方法完成，全程无循环，效率比嵌套循环高几个数量级。

具体操作步骤 #

1. 处理Df2：拆分多基因并聚合MP术语 #

Df2的gene ids列是逗号分隔的多基因，先拆分后展开成每行一个基因，再按基因分组把对应的MP术语合并成逗号分隔字符串：

# 拆分基因列并展开为单行基因
df2_exploded = df2.assign(gene_ids=df2['gene ids'].str.split(',')).explode('gene_ids')
# 清理基因ID的前后空格（避免因空格导致匹配失败）
df2_exploded['gene_ids'] = df2_exploded['gene_ids'].str.strip()
# 按基因分组聚合MP术语
mp_gene_map = df2_exploded.groupby('gene_ids')['MP terms'].agg(','.join).reset_index()
mp_gene_map.columns = ['gene ids', 'MP terms']

2. 处理Df1：聚合GO术语并去重基因 #

直接按基因分组，把同一基因的GO术语合并成逗号分隔字符串，groupby会自动完成基因ID的去重：

go_gene_map = df1.groupby('gene ids')['Go terms'].agg(','.join).reset_index()

3. 合并生成Df3 #

以Df1处理后的去重基因为基准，左连接MP术语映射表，确保所有Df1的基因都被保留，空值可以填充为空字符串：

df3 = go_gene_map.merge(mp_gene_map, on='gene ids', how='left')
# 可选：给没有对应MP术语的基因填充空字符串
df3['MP terms'] = df3['MP terms'].fillna('')

为什么这方法高效？ #

Pandas的内置方法都是基于C语言实现的向量化操作，避免了Python循环的性能损耗，数据量越大，效率提升越明显。而且代码简洁，不容易出错。

内容的提问来源于stack exchange，提问作者Andrea