Python中如何匹配两列正确合并pandas DataFrame

首先你写的merge代码存在基础语法错误，这是结果不符合预期的首要原因：
left_on和right_on参数需要传入列名组成的列表，你当前代码里['Col1,Col2']是把两个列名写在了同一个字符串中，实际只传入了1个不存在的列作为关联键，没有按两列分别匹配。
修正后的基础合并代码如下：

merged_df = df1.merge(
    df2,
    how='inner',
    left_on=['Col1', 'Col2'],
    right_on=['ColA', 'Col2']
)

如果修正写法后返回的结果数据量仍然少于预期，按以下步骤逐一排查：

• 检查关联列的数据类型是否一致
  两表用于匹配的列如果数据类型不同，哪怕显示的值完全一样也无法匹配，比如一列是整数1、另一列是字符串"1"，或者一列是datetime类型、另一列是字符串格式的日期，都会匹配失败。
  用以下代码查看列类型：

  print("df1关联列类型：")
  print(df1[['Col1', 'Col2']].dtypes)
  print("df2关联列类型：")
  print(df2[['ColA', 'Col2']].dtypes)
  

  类型不一致时先统一类型再合并，比如统一转为字符串：

  df1['Col1'] = df1['Col1'].astype(str)
  df2['ColA'] = df2['ColA'].astype(str)
  

• 检查字符串类关联列是否存在隐藏格式问题
  字符串列经常出现首尾带空格、大小写不一致的问题，比如"Apple"和"apple "会被判定为不相等，合并前可以先做清理：

  str_cols = ['Col1', 'Col2']
  df1[str_cols] = df1[str_cols].apply(lambda x: x.str.strip().str.lower())
  str_cols_df2 = ['ColA', 'Col2']
  df2[str_cols_df2] = df2[str_cols_df2].apply(lambda x: x.str.strip().str.lower())
  

• 检查关联键的实际匹配情况
  inner连接只会保留两表关联键组合完全一致的行，可以先提取两边的关联键组合，查看实际交集大小、未匹配的键样例，定位不匹配的原因：

  # 生成两表的关联键组合集合
  left_key_set = set(zip(df1['Col1'], df1['Col2']))
  right_key_set = set(zip(df2['ColA'], df2['Col2']))
  # 统计实际可匹配的键数量
  match_key_count = len(left_key_set & right_key_set)
  print(f"两表共有的匹配键组合数量为：{match_key_count}")
  # 查看df1中存在但df2没有的键，取前10个样例
  print("df1中未匹配到df2的键样例：", list(left_key_set - right_key_set)[:10])
  

• 检查合并逻辑是否符合预期
  如果你需要保留df1的所有行（哪怕df2中没有对应匹配项），不要用how='inner'，将参数改为how='left'即可；如果需要保留两表所有行，改为how='outer'。
• 检查关联列的空值
  pandas中NaN和任何值（包括NaN本身）都不相等，如果关联列存在空值且需要将空值作为匹配条件，合并前先将空值填充为统一的占位值，比如：

  df1[['Col1','Col2']] = df1[['Col1','Col2']].fillna('__NA__')
  df2[['ColA','Col2']] = df2[['ColA','Col2']].fillna('__NA__')
  

问题相关参考截图：

内容的提问来源于stack exchange，提问作者ec859a8sda6