Parquet大文件读取性能优化求助：1亿行文件加载耗时超3分钟

针对你1亿行、已挂载到内存的Parquet文件读取场景，以下是具体的性能优化手段：

1. 优化Parquet文件存储结构 #

• 调整行组（Row Group）大小：默认行组尺寸过小会增加元数据处理开销，建议将行组大小设置为1GB左右（对应约2000万行，可根据数据类型微调），减少行组数量，提升矢量化处理效率。
• 更换压缩算法：Snappy虽CPU友好，但如果数据存在大量重复值，可尝试Zstd压缩——它压缩比更高，解压速度接近Snappy，在内存场景下能减少解压阶段的CPU开销。
• 合理划分列块（Column Chunk）：确保每个列块大小适配矢量化读取，避免过小的列块带来额外的处理开销。

2. 优化PyArrow读取与转换参数 #

• 启用多线程加速：显式设置pq.read_table(use_threads=True)和to_pandas(use_threads=True)，利用多核心CPU并行处理读取、解压缩和格式转换。
• 跳过不必要的数据：如果业务不需要全量列，在read_table中指定columns参数仅加载所需列；若只需部分行数据，使用filter参数做行过滤，或利用Parquet分区提前筛选数据。
• 优化Pandas转换逻辑：
  • 若无需立即使用Pandas DataFrame，可先保留PyArrow Table格式处理，避免to_pandas的转换开销；
  • 尝试关闭split_blocks=True（若业务无需分块），减少内存拷贝；
  • 若使用Pandas 2.0+，添加dtype_backend='pyarrow'参数，采用PyArrow原生数据类型，降低内存占用与转换耗时。

3. 内存与CPU硬件层面优化 #

• 配置大页内存：挂载ramfs时指定足够大小（如sudo mount -t ramfs -o size=8G ramfs /ram），同时开启系统大页内存支持，减少内存访问的页表开销。
• 确保PyArrow启用SIMD优化：检查PyArrow编译配置（通过print(pyarrow.__config__)），确认已开启AVX2等SIMD指令集，提升矢量化运算速度。

4. 替代方案与预处理优化 #

• 转换为Arrow IPC（Feather）格式：Parquet是磁盘优化格式，而Arrow IPC专为内存高效访问设计。可一次性将Parquet转换为Feather格式：

  import pyarrow.parquet as pq
  import pyarrow.feather as feather
  
  table = pq.read_table('/ram/001.parquet')
  feather.write_feather(table, '/ram/001.feather')
  

  后续读取Feather文件的速度会显著快于Parquet。
• 使用Dask并行加载：若无需一次性全量加载数据，用Dask的dask.dataframe.read_parquet()实现并行、延迟加载，利用多进程/线程提升处理效率。

内容的提问来源于stack exchange，提问作者rodrigocf