如何设置PyArrow内存池以使用实例最大可用内存？

我有一台配备80GB内存的机器，但执行pa.concat_tables操作时总会出现内存不足的情况。

我尝试通过以下方式设置默认内存池，但total_allocated_bytes()返回0：

>>> import pyarrow as pa
>>> pa.set_memory_pool(pa.system_memory_pool())
>>> pa.total_allocated_bytes()
0

疑问：如何设置PyArrow的内存池上限以使用实例的最大可用内存？

我还尝试了以下操作，pa.total_allocated_bytes()不再为0，但对代码含义存疑：

import pyarrow as pa
pa.allocate_buffer(1024 * 1024 * 80, resizable=False) # 这是不是代表分配80GB内存？

问题解析与解决方案 #

1. total_allocated_bytes()返回0的原因
   pa.system_memory_pool()直接调用系统内存分配器，PyArrow不会追踪它的内存分配情况，所以返回0是正常表现。如果需要监控内存使用，应使用默认的pa.default_memory_pool()（基于jemalloc实现），它会记录所有分配的字节数。

2. 设置内存池上限的正确方式
   PyArrow没有直接给内存池设置"最大可用内存"的参数，但可以通过全局内存限制来控制：

• 使用pa.set_memory_limit()设置全局内存上限（单位为字节），比如预留部分内存给系统后设置70GB上限：

  import pyarrow as pa
  # 70GB = 70 * 1024^3 字节
  pa.set_memory_limit(70 * 1024**3)
  

  当内存使用超过该限制时，PyArrow会抛出内存不足异常，该限制会作用于默认内存池的所有分配操作。
• 若坚持使用系统内存池，只能通过系统层面的资源限制（如Linux的cgroups）来管控，PyArrow本身无法对其设置上限。

3. 关于allocate_buffer的误区
   你写的1024 * 1024 * 80对应的是80MB，不是80GB。80GB的正确计算应为80 * 1024**3（十进制计算则是80 * 1000**3）。这段代码只是手动分配了一块固定大小的内存缓冲区，和设置内存池上限无关，只是因为有了已分配内存，total_allocated_bytes()才不再返回0。

4. concat_tables内存优化建议

• 提前清理要合并表中的冗余数据，比如重复列、不必要的大字段。
• 若待合并表数量较多，可分批次合并，每次合并后释放中间结果内存再继续。
• 合理使用pa.concat_tables的promote_options参数，避免不必要的类型提升导致内存占用激增。

内容的提问来源于stack exchange，提问作者alvas