如何反向遍历Dask DataFrame 不加载全量Parquet数据

基于已排序的Parquet索引做反向遍历完全不需要全量加载文件，利用Dask的分片元数据特性可以实现和正向遍历一致的内存开销，方案如下：

• 前置依赖确认
  你的Parquet数据集需要满足：写入时保留了每个分片/行组的索引列min/max统计信息（Dask、PyArrow、Spark默认写入的Parquet都自带该统计信息，不需要额外配置），且索引全局严格排序、分片间索引范围无重叠。
• 第一步：懒加载数据集元数据
  读取时仅拉取分片统计信息，不加载实际数据内容，内存占用可忽略：

  import dask.dataframe as dd
  
  ddf = dd.read_parquet(
      "your/dataset/path",
      gather_statistics=True,  # 仅拉取分片索引范围元数据
      index="sorted_index_col",  # 绑定已排序的索引列
      split_row_groups=True  # 单Parquet大文件场景下按行组自动切分
  )
  

• 第二步：逻辑逆序分片，避免全局Shuffle
  绝对不要直接调用ddf.sort_index(ascending=False)，该操作会触发全量数据Shuffle，丧失大数据处理优势。由于数据集已经全局排序，Dask每个分片的索引范围是单调递增的，只需要做两层轻量逆序即可：

  # 1. 反转分片列表顺序：优先遍历索引值最大的分片
  reversed_part_list = ddf.partitions[::-1]
  # 2. 单分片内部逆序：仅在单个分片内做排序，无跨节点数据交换
  reversed_ddf = reversed_part_list.map_partitions(
      lambda part: part.sort_index(ascending=False),
      meta=ddf._meta
  )
  

• 第三步：逐分片遍历，控制内存占用
  遍历过程中每次仅加载单个分片到内存，处理完成后内存自动释放，不会常驻全量数据：

  for partition in reversed_ddf.partitions:
      # 单分片加载到内存，大小由你写入Parquet时设置的分片大小决定
      current_df = partition.compute()
      # 编写单分片处理逻辑，比如逐行计算、写入下游存储等
      process_logic(current_df)
  

性能说明：该方案的总计算量、内存峰值和正向遍历Parquet完全一致，没有额外的排序或IO开销，所有逆序操作都是基于元数据的逻辑调整，单分片内部排序的开销可以忽略。

内容的提问来源于stack exchange，提问作者Anina Hitt