Python新手求助：如何基于条件从另一DataFrame为DataFrame添加注释？

嘿，我懂你现在的烦恼——手动嵌套遍历两个DataFrame来匹配染色体和位置区间不仅容易出错，数据量大的时候还特别慢。其实Pandas有更简洁高效的办法来搞定这种区间匹配需求，不用硬写双重循环。咱们一步步来解决：

首先先把你的示例数据还原出来，方便后续演示：

import pandas as pd

# 存储位置信息的DataFrame
df1 = pd.DataFrame({
    "chr1": [1, 1, 1, 1, 1],
    "s1": [645710, 668630, 713044, 738570, 766600]
})

# 存储注释区间的DataFrame
df2 = pd.DataFrame({
    "chr": ["chr1", "chr1", "chr1", "chr1", "chr1"],
    "s": [10000, 10600, 11137, 11737, 11937],
    "e": [10600, 11137, 11737, 11937, 12137],
    "state": ["repetive/CNV", "heterochromatin", "insulator", "weak_transcribed", "poised/weak_enhancer"]
})

方法一：新手友好的apply写法（逻辑直观） #

首先咱们得统一两个DataFrame的染色体格式——把df1的chr1列转换成和df2一样的chrX格式：

df1["chr"] = "chr" + df1["chr1"].astype(str)

然后写一个简单的函数，用来给df1的每一行匹配对应的注释：

def get_matching_state(row):
    # 筛选条件：染色体匹配 + 位置落在区间[s, e]内
    match_rows = df2[(df2["chr"] == row["chr"]) 
                     & (df2["s"] <= row["s1"]) 
                     & (df2["e"] >= row["s1"])]
    # 如果找到匹配项就返回对应的state，否则返回"无匹配"（也可以返回pd.NA）
    return match_rows["state"].iloc[0] if not match_rows.empty else "无匹配"

最后把这个函数应用到df1的每一行，生成新的注释列：

df1["state"] = df1.apply(get_matching_state, axis=1)

注意：你的示例数据里df1的位置都远大于df2的区间，所以结果都会是"无匹配"。你可以调整df2的区间（比如把某一行的s改成600000，e改成800000），就能看到匹配效果了。

方法二：高效的merge_asof写法（适合大数据量） #

如果你的数据有几万甚至几十万行，apply的效率就不够看了。这时候可以用Pandas的merge_asof，它专门处理这种有序的区间匹配，速度快很多：

第一步还是先统一染色体格式，然后对两个DataFrame按染色体和位置排序（merge_asof要求数据是有序的）：

# 处理df1的染色体格式并排序
df1["chr"] = "chr" + df1["chr1"].astype(str)
df1_sorted = df1.sort_values(by=["chr", "s1"])

# 对df2按染色体和起始位置排序
df2_sorted = df2.sort_values(by=["chr", "s"])

然后用merge_asof进行匹配，再过滤掉位置超出区间的情况：

# 按染色体分组，匹配不大于当前位置的最近区间起始点
merged = pd.merge_asof(
    df1_sorted,
    df2_sorted,
    on="s1",
    by="chr",
    direction="backward",
    allow_exact_matches=True
)

# 过滤出位置确实落在区间[s, e]内的结果
final_result = merged[merged["s1"] <= merged["e"]]

为什么你的双重循环没成功？ #

大概率是循环里的索引处理或者条件判断出了问题——比如遍历df1时用了for i in range(len(df1))，但取数时没正确用iloc，或者没处理“无匹配”的情况导致报错。而且双重循环的时间复杂度是O(n*m)，数据量大的时候会慢到让人崩溃，所以非常不推荐这种写法。

内容的提问来源于stack exchange，提问作者Matthijs van Kesteren