Dask repartition(partition_size="100MB")未按指定大小生成分区问题

• 核心逻辑偏差：repartition(partition_size="100MB") 中指定的分区大小，指的是Dask DataFrame在内存中未压缩、原始格式的对象占用大小，完全不是最终写入磁盘的Parquet文件大小。Parquet是列式压缩存储格式，写入时默认会开启Snappy等压缩算法，对于常规结构化数据，尤其是包含大量字符串、低基数重复值、空值的场景，压缩率通常能达到10:1~20:1，你设置内存单分区100MB，压缩后落地为5MB左右的文件属于完全符合逻辑的结果，不是参数失效。
• 大小统计口径错位：你提到的「数据集总大小低于或略高于100MB」，如果是你观察到的Parquet文件总磁盘大小，对应内存中未压缩的原始DataFrame实际占用通常在500MB_{2GB区间，Dask按照100MB的内存阈值切分，自然会生成5}20个独立分区，每个分区压缩后恰好就是5MB左右的小文件。
• 估算逻辑的保守性放大了这个现象：Dask计算DataFrame分区大小的时候，是基于列dtype做静态估算加少量采样校验，对于object类型字符串、嵌套类型等内存占用波动大的字段，估算会偏保守，会主动切出更小的分区避免单分区内存溢出，这会进一步缩小最终落地的单文件体积。
• 写入配置的额外影响：如果你写入Parquet时没有手动指定row_group_size（行组大小）参数，默认的行组配置会进一步提升压缩效率，让单文件体积更小。

• 如果你的目标是让落地的Parquet单文件大小稳定在100MB左右，不要直接把partition_size设为100MB：先取小批量样本数据写入测试，算出数据集的实际压缩比，再反推需要设置的内存分区大小。比如你的数据集压缩比是20:1，就把partition_size设为"2GB"，最终落地的文件大小就会接近预期值。
• 不建议通过from_pandas直接加载全量Pandas DataFrame后再重分区，如果数据集规模较大，这个操作会把全量数据先加载到单节点内存，完全失去Dask分布式处理的优势。

内容的提问来源于stack exchange，提问作者tschaka1904