如何用Pandas内置操作简化基于循环的DataFrame合并逻辑？

你的核心需求是根据dyad和subject两个关键字段，把问卷数据中的问题列匹配到脑电相关性的长表中。原代码的三层嵌套循环完全是性能瓶颈，直接用Pandas的merge方法就能一步完成，彻底解决速度问题。

优化后的完整代码 #

import pandas as pd

# 读取二元组平均数据——无需手动读取表头，pd.read_csv会自动处理
dyadAvgs = pd.read_csv('C:/Users/user/Desktop/NarrativeData/parcel_avgs_dyad_and_sub_final.csv')
parcel_names = dyadAvgs.columns[8:]

# 宽表转长表，直接用列名而非手动提取的表头列表
iscLong = pd.melt(dyadAvgs, 
                  id_vars=[dyadAvgs.columns[1], dyadAvgs.columns[2]], 
                  value_vars=parcel_names, 
                  var_name='parcels', 
                  value_name='brain_corr')

# 读取退出问卷数据
exitSurvey = pd.read_csv('completed_exit_surveys.csv')
questions = exitSurvey.columns[4:]

# 核心操作：按dyad和subject联合匹配合并，保留iscLong所有行
merged_data = pd.merge(iscLong, 
                       exitSurvey[['dyad', 'subject'] + questions], 
                       on=['dyad', 'subject'], 
                       how='left')

# 若需将匹配不到的问卷值设为0（和原代码逻辑一致），执行此步
merged_data[questions] = merged_data[questions].fillna(0)

# 输出结果
merged_data.to_csv('merged_data.csv', index=False)

原代码的性能问题根源 #

• 逐元素循环：三层嵌套循环属于逐行逐列的标量操作，完全抛弃了Pandas的向量化性能优势，数据量越大速度差距越夸张。
• 冗余操作：手动读取表头再传给read_csv是多余的，Pandas默认会把第一行识别为表头。
• 链式赋值风险：iscLong[q][index]这种写法属于链式索引，不仅效率低，还可能触发SettingWithCopyWarning，导致数据赋值异常。

关键优化点 #

1. pd.merge替代循环：通过on=['dyad', 'subject']指定联合匹配字段，how='left'确保保留iscLong的所有行，自动完成匹配列的填充，是Pandas底层优化的向量化操作，速度比循环快几个数量级。
2. 简化文件读取：去掉手动处理表头的冗余代码，让pd.read_csv自动处理文件读取逻辑。
3. 避免链式赋值：合并后的整体赋值操作既安全又高效，不会出现警告或数据异常。

内容的提问来源于stack exchange，提问作者Clara