如何将Dask DataFrame指定分区逐个保存为Parquet文件？

方法一：逐个保存每个分区 #

可以遍历Dask DataFrame的partitions属性，单独处理并保存每个分区，避免一次性加载全量数据导致内存溢出：

import dask.dataframe as dd

# 假设你的Dask DataFrame对象为ddf
for idx, part in enumerate(ddf.partitions):
    # 将单个分区转为Pandas DataFrame后保存，以Parquet为例
    part_df = part.compute()
    part_df.to_parquet(f"partition_{idx}.parquet", engine="pyarrow")  # 替换为你使用的Parquet引擎（如fastparquet）

• 注意：compute()会将单个分区加载到内存，500万行拆分为20个分区后，单个分区约25万行，通常不会超出内存上限；若使用Distributed集群，可先用part.persist()将分区缓存在集群节点，再执行compute()，减少本地内存压力。

方法二：拆分为多个Pandas DataFrame变量 #

如果需要将每个分区转为独立的变量，可通过列表推导或循环实现：

# 先将所有分区转为Pandas DataFrame并存储到列表
partition_list = [part.compute() for part in ddf.partitions]

# 若需单独命名变量（如df0、df1...df19）
for idx, df in enumerate(partition_list):
    globals()[f"df{idx}"] = df

• 注意：此方法会将所有分区同时加载到内存，若单个分区内存占用较高，仍可能引发内存问题，建议按需加载单个分区，而非一次性全部转换。

额外排查建议 #

• 确认Parquet引擎版本与Dask 2022.01.1兼容：推荐使用pyarrow>=3.0.0或fastparquet>=0.7.0，版本不匹配可能导致保存时的异常。
• 若使用Distributed集群，通过client.memory_info()查看节点内存使用情况，确保工作节点有足够资源处理分区。
• 尝试调整保存参数：比如设置write_metadata_file=False（跳过全局元数据生成，减少内存消耗），或指定compression="snappy"等轻量压缩方式。

内容的提问来源于stack exchange，提问作者user3234242