为何PyArrow后端DataFrame比NumPy后端占用更多内存？

这是预期行为吗？ #

是的，这种内存占用差异属于预期行为，核心原因是PyArrow数据类型与pandas原生nullable类型的存储机制存在差异：

• 数值类型：pandas的Int16/Int32等nullable类型基于numpy数组+布尔掩码实现，而PyArrow整数类型采用自有列存储格式，在空值占比低、数据基数高的场景下，额外的元数据或存储对齐逻辑会导致内存占用略高。
• 字符串类型：pandas的string类型对Apache Arrow字符串格式做了适配优化，而dtype_backend="pyarrow"下的string[pyarrow]以原生PyArrow数组形式存储，额外的容器开销会拉高内存占用。
• 时间/时间差类型：PyArrow的timestamp/duration类型包含更复杂的时区元数据，且存储对齐方式与pandas原生类型不同，也会带来少量内存开销。

你在其他数据集遇到更大相对开销，大概率和数据集的空值分布、列基数、类型占比有关——比如空值极少的数值列，PyArrow存储格式的额外开销占比会更突出。

是否需要调整参数？ #

可以尝试以下优化方向：

• 手动指定紧凑PyArrow类型：通过dtype参数为列指定更匹配的PyArrow类型，比如给无需求的时间列去掉时区、给数值列用最小可行位宽，示例：

  import pyarrow as pa
  dtype_config = {
      "int_small_col": pa.int16(),
      "date_no_tz": pa.timestamp('ns'),
      "str_col": pa.string()
  }
  pd.read_parquet("df.parquet", dtype_backend="pyarrow", dtype=dtype_config)
  

• 启用字典编码：如果字符串列或低基数数值列较多，可设置use_dictionary=True（需确保对应列在Parquet中是字典编码，或读入时触发编码），能大幅降低重复值列的内存占用。
• 升级pandas版本：pandas 2.2及后续版本对PyArrow后端的内存管理做了针对性优化，可缩小这种内存差异。

另外注意：df.info()的内存占用是估算值，用df.memory_usage(deep=True).sum()能获取更精确的内存数值。

内容的提问来源于stack exchange，提问作者ivegotaquestion