合并两个数据集时触发Unable to allocate 11.7 GiB报错如何解决

执行的pandas合并代码：

outcome_variables = pd.merge(ivs, v_dem, how="outer", on=["alpha-2", "year"])

触发的报错信息：

Unable to allocate 11.7 GiB for an array with shape (4128, 380433) and data type float64
已知匹配键alpha-2、year的数据类型在两个待合并表中完全一致。

1. 数据集合并是否要求两个待合并数据集形状一致？ #

不需要。
pandas的merge是标准的关系型连接操作，对两个输入表的行数、列数没有强制一致要求，仅要求指定的关联键数据类型可匹配即可。不同行列数的表只要符合连接的匹配逻辑，都可以正常完成合并。

2. 该报错是否可能由数据集包含不同数据类型的字段导致？ #

基本不可能。
这个是典型的内存分配不足错误，和非关联键的字段类型差异没有关系：如果存在字段类型不兼容的问题，pandas会直接抛出类型错误、值匹配失败类的提示，不会进入内存分配的流程。从报错给出的数组形状可以看出，合并过程中pandas尝试生成的结果数组体量达到11.7GiB，超出当前环境可用内存才是触发报错的直接原因。

• 先排查关联键的匹配逻辑问题
  首先确认on参数的关联键写全了业务要求的所有匹配字段，漏写匹配键会直接触发两个表的全笛卡尔积，导致结果体量指数级上涨。
  之后分别统计两个表中(alpha-2, year)组合的重复情况，运行代码：

  print("ivs表关联键重复行数：", ivs.duplicated(subset=["alpha-2", "year"]).sum())
  print("v_dem表关联键重复行数：", v_dem.duplicated(subset=["alpha-2", "year"]).sum())
  

  如果两个表都存在大量同键重复行，连接时相同键的行会做笛卡尔积匹配，直接把结果体量拉满。这种情况需要先明确重复行的业务含义，要么提前对重复行做去重，要么先按(alpha-2, year)粒度做聚合，保证每个表中关联键组合唯一后再做合并。

• 提前缩小待合并数据的内存占用

  • 合并前先把两个表中后续分析用不上的冗余列直接删除，不要全列参与合并。
  • 对字段做类型降级压缩内存：float64类型可以按需转成float32，int64类型根据取值范围转成int32/int16，字符串类的分类字段（比如国家编码、区域标签）转成category类型，通常可以把表的内存占用降到原来的1/3~1/10。参考代码：

    # 数值类型降级、分类字段转换
    for df in [ivs, v_dem]:
        float_cols = df.select_dtypes(include='float64').columns
        df[float_cols] = df[float_cols].apply(pd.to_numeric, downcast='float')
        int_cols = df.select_dtypes(include='int64').columns
        df[int_cols] = df[int_cols].apply(pd.to_numeric, downcast='integer')
        df['alpha-2'] = df['alpha-2'].astype('category')
    

• 调整连接方式减少无效数据
  不要默认使用how="outer"全外连接：如果实际分析只需要两个表都能匹配上的记录，改成how="inner"内连接；如果只需要保留其中一个表的全部记录，用how="left"左连接或how="right"右连接即可，全外连接会生成大量带空值的无效行，额外占用内存。

• 替换更高效的计算工具
  如果以上步骤调整后仍然存在内存不足问题，可以换用内存优化更好的计算框架（比如Polars）做合并操作，同数据量下Polars的内存占用比pandas低50%以上，且合并速度更快。

内容的提问来源于stack exchange，提问作者Korkut