R语言基于双向ID匹配填充biol_sex_2列的实现与循环优化

原双层嵌套循环运行慢的核心原因是采用了逐行全表扫描匹配的逻辑，时间复杂度为O(n²)，百万级规模下的计算量会达到万亿次级别，自然耗时极长。可以通过构建哈希映射索引的方式把复杂度降到O(n)，哪怕是百万行规模的数据集也能在几秒内完成计算：

• 第一步：基于现有biol_sex_1字段，建立ID与生理性别值的映射字典：sex_map = dict(zip(df["Partner1_ID"], df["biol_sex_1"]))。由于表中每对记录出现两次，所有ID都会在Partner1_ID列中出现一次，因此字典可以覆盖所有可能的ID取值，这一步仅需单次遍历全表，耗时极短。
• 第二步：直接向量化赋值biol_sex_2列：df["biol_sex_2"] = df["Partner2_ID"].map(sex_map)。

逻辑验证：任意一行的Partner2_ID对应的配对记录中，一定会作为Partner1_ID出现，其存储的biol_sex_1值就是当前行需要填充的伴侣性别值，完全匹配业务规则。

优化后的循环会减少90%以上的无效计算，核心改动点是避免重复遍历已处理的行、找到配对后立刻终止内层循环，具体写法如下：

import pandas as pd

# 初始化biol_sex_2为全NA
df["biol_sex_2"] = pd.NA
row_count = len(df)

for i in range(row_count):
    # 已经完成性别填充的行直接跳过，不进入后续匹配逻辑
    if pd.notna(df.loc[i, "biol_sex_2"]):
        continue
    current_p1 = df.loc[i, "Partner1_ID"]
    current_p2 = df.loc[i, "Partner2_ID"]
    current_p1_sex = df.loc[i, "biol_sex_1"]

    # 内层从当前行的下一条记录开始查找，不回头遍历已处理的行
    for j in range(i + 1, row_count):
        # 双向ID匹配定位到对应的配对行
        if df.loc[j, "Partner1_ID"] == current_p2 and df.loc[j, "Partner2_ID"] == current_p1:
            # 双向完成biol_sex_2赋值
            df.loc[i, "biol_sex_2"] = df.loc[j, "biol_sex_1"]
            df.loc[j, "biol_sex_2"] = current_p1_sex
            break # 匹配成功立刻跳出内层循环，不做多余遍历

注意：该循环实现仅用于理解嵌套匹配的逻辑，实际处理大体积数据集时，性能远低于前述的哈希映射向量化方案，不建议用于生产环境的大规模数据计算。

内容的提问来源于stack exchange，提问作者Fabio