Pandas条件内联接报Can only compare identically-labeled Series objects，大表关联内存溢出处理

• 原始代码存在逻辑本质错误：做布尔索引时直接使用marketResearch['SKU Barcode'] == productDataRows['SKU Barcode']做等值判断，pandas会按照两个Series的索引标签逐行对齐匹配，两个表的行数、索引标签完全不匹配（1489行 vs 2852万行），因此触发ValueError: Can only compare identically-labeled Series objects报错。
• 全量合并方案存在严重内存浪费：直接将两个表做全量内连接时，会在内存中生成匹配后的全量临时数据集，基于原始marketResearch已占用516.8MB的基础，临时表内存开销会达到原始值的3-5倍，必然触发MemoryError。

低内存、可落地的实现方案 #

• 第一步：从productDataRows中提取去重的目标SKU集合，压缩后续匹配的集合体积

  # 提取所有需要匹配的SKU，去重减少集合冗余
  target_sku_list = productDataRows['SKU Barcode'].dropna().unique()
  

• 第二步：按照高过滤率优先的顺序做布尔索引筛选，全程不生成不必要的临时大表

  # 优先筛选平台维度：平台分类的等值判断为哈希匹配，可快速过滤绝大多数非目标平台的行
  # 再用isin方法匹配SKU集合：isin内部采用哈希查表逻辑，不需要逐行做两个Series的索引对齐比较
  marketResearchRows = marketResearch[
      (marketResearch['Platform Code'] == platform)
      & (marketResearch['SKU Barcode'].isin(target_sku_list))
  ]
  

• 极端内存不足的优化操作：
  • 如果本地剩余内存不足以加载全量筛选后的数据集，可使用分块读取逻辑：设置chunksize=1000000逐块加载marketResearch，每块单独应用上述筛选条件，将符合条件的块追加写入本地Parquet临时文件，全部读取完成后再合并所有临时块得到最终结果，全程内存峰值不会超过单块数据的大小。
  • 匹配SKU时可提前将marketResearch的SKU列转换为目标SKU对应的分类类型，可将逐值比较的开销降低90%以上。

内容的提问来源于stack exchange，提问作者mynameJeff55