如何在两个DataFrame多列匹配时提取列值？含循环匹配与报错解决

问题背景 #

需要编写脚本实现：

• 基于Table2的「产品/区域/年份」规则，匹配Table1中的数据并提取Obs. value
• 多轮循环放松年份条件：比如Loop1严格匹配Product_L1、Geography_L1和Year；Loop2匹配前两列+Year-1；Loop3匹配前两列+Year-2，以此类推，最终生成包含多轮匹配结果的Table2输出表。

尝试以下代码时触发报错：'Can only compare identically-labeled Series objects'

Table_2['Loop_1'] = np.where((Table_1.Product_L1 == Table_2.Product_L1)
                             & (Table_1.Geography_L1 == Table_2.Geography_L1)
                             & (Table_1.Year == Table_2.Year), 
                             Table_1(['obs_value'], ''))

相关表格结构：

• Table1：包含Product level1、Product level2、Region level1、Region level2、Year、Obs. value列，存储水泥产品各区域的年度数据
• Table2：存储待匹配的「产品/区域/年份」规则
• 预期输出：带多轮循环匹配结果列的Table2表

报错原因 #

1. 索引不匹配：直接用Table_1.Product_L1 == Table_2.Product_L1比较两个DataFrame的列时，Pandas要求参与比较的Series必须有完全相同的索引（标签）才能逐元素比对。但Table1和Table2是两个独立的数据集，行数、索引大概率不一致，因此触发该报错。
2. 语法错误：提取obs_value时使用Table_1(['obs_value'], '')是错误语法，正确写法应为Table_1['obs_value']。

解决方案 #

方案1：用merge实现单轮匹配（Loop1） #

merge是Pandas中用于表关联的标准方法，适合这种多键匹配场景：

import pandas as pd

# 重命名列名统一匹配键（如果Table1的列名是"Product level1"，需要先转成和Table2一致的"Product_L1"）
Table1 = Table1.rename(columns={
    "Product level1": "Product_L1",
    "Region level1": "Geography_L1",
    "Obs. value": "obs_value"
})

# Loop1：严格匹配Product_L1、Geography_L1、Year
Table2 = Table2.merge(
    Table1[["Product_L1", "Geography_L1", "Year", "obs_value"]],
    on=["Product_L1", "Geography_L1", "Year"],
    how="left",
    suffixes=("", "_Loop1")
)
Table2.rename(columns={"obs_value": "Loop_1"}, inplace=True)

方案2：多轮循环匹配（支持年份偏移） #

通过循环年份偏移量（如0、-1、-2），逐轮完成匹配并添加结果列：

# 先统一列名（如果未做过）
Table1 = Table1.rename(columns={
    "Product level1": "Product_L1",
    "Region level1": "Geography_L1",
    "Obs. value": "obs_value"
})

# 定义年份偏移列表，比如Loop1对应偏移0，Loop2对应偏移-1，Loop3对应偏移-2
year_offsets = [0, -1, -2]

for idx, offset in enumerate(year_offsets, start=1):
    # 生成当前轮的匹配Year（Table2的Year + 偏移量）
    temp_table = Table2.copy()
    temp_table["match_year"] = temp_table["Year"] + offset
    
    # 关联Table1获取匹配的obs_value
    merged = temp_table.merge(
        Table1[["Product_L1", "Geography_L1", "Year", "obs_value"]],
        left_on=["Product_L1", "Geography_L1", "match_year"],
        right_on=["Product_L1", "Geography_L1", "Year"],
        how="left"
    )
    
    # 将结果添加到Table2中
    Table2[f"Loop_{idx}"] = merged["obs_value"]

方案3：用apply逐行匹配（适合小数据集） #

如果数据集行数较少，也可以用apply逐行遍历Table2，在Table1中筛选符合条件的记录：

# 统一列名
Table1 = Table1.rename(columns={
    "Product level1": "Product_L1",
    "Region level1": "Geography_L1",
    "Obs. value": "obs_value"
})

# Loop1匹配函数
def get_loop1_value(row):
    mask = (
        (Table1["Product_L1"] == row["Product_L1"])
        & (Table1["Geography_L1"] == row["Geography_L1"])
        & (Table1["Year"] == row["Year"])
    )
    # 返回第一个匹配的obs_value，无匹配则返回空
    return Table1.loc[mask, "obs_value"].values[0] if mask.any() else None

Table2["Loop_1"] = Table2.apply(get_loop1_value, axis=1)

# 多轮循环扩展：
for idx, offset in enumerate([-1, -2], start=2):
    def get_loop_value(row):
        mask = (
            (Table1["Product_L1"] == row["Product_L1"])
            & (Table1["Geography_L1"] == row["Geography_L1"])
            & (Table1["Year"] == row["Year"] + offset)
        )
        return Table1.loc[mask, "obs_value"].values[0] if mask.any() else None
    Table2[f"Loop_{idx}"] = Table2.apply(get_loop_value, axis=1)

注意事项 #

• 确保Table1和Table2的匹配键列名一致（如统一用Product_L1而非混用Product level1）
• 处理无匹配的情况：上述方法均用how="left"或返回None，保证Table2的行数不变
• 大数据集优先用merge方法，apply逐行遍历效率较低

内容的提问来源于stack exchange，提问作者OG_1996