如何解决Jupyter Notebook中多表拼接后的NaN值问题

常见原因及解决方案 #

1. 拼接键user_id数据类型不统一

如果不同表中user_id的类型不一致（比如一个是字符串、一个是整数），拼接时会因无法匹配导致非关联列出现NaN。

• 修复操作：统一所有表的user_id类型：

  # 遍历所有需要拼接的表，将user_id转为字符串（或整数，保持一致即可）
  for df in [df1, df2, user_info_df]:
      df['user_id'] = df['user_id'].astype(str)
  

2. 错误使用拼接方法

如果你的目标是按user_id关联用户的行为数据和基础信息（age/gender），用pd.concat()（行拼接）是错误的，应该用pd.merge()进行关联拼接：

• 正确操作示例：

  # 假设main_df是包含用户行为的主表，user_info_df是包含age/gender的用户信息表
  merged_df = pd.merge(main_df, user_info_df, on='user_id', how='left')
  

  • how='left'会保留主表所有user_id，匹配到的用户信息会填充，未匹配的才会显示NaN（此时需检查这些user_id是否确实无对应数据）。

3. 拼接结果未正确赋值

如果执行拼接后没有将结果存入变量，后续操作的还是原表，自然看不到正确的age/gender数据：

• 修复：确保拼接结果赋值给变量，比如：

  # 错误写法：只执行拼接但不保存
  pd.merge(main_df, user_info_df, on='user_id')
  # 正确写法：保存到变量
  final_df = pd.merge(main_df, user_info_df, on='user_id')
  

4. 重复列名导致误判

如果拼接的表中有重复列名（除了user_id），merge后会生成age_x、age_y这类后缀列，你可能误查看了错误的列：

• 修复：拼接前检查列名，重命名重复列：

  # 重命名用户信息表的age列，避免和主表重复
  user_info_df.rename(columns={'age': 'user_age', 'gender': 'user_gender'}, inplace=True)
  

验证步骤 #

1. 执行final_df.info()查看age/gender列的非空值数量，确认是全局缺失还是仅前几行缺失。
2. 执行final_df[final_df['age'].isna()]筛选出缺失数据，检查这些user_id在用户信息表中是否存在。

内容的提问来源于stack exchange，提问作者Haseeb Tariq