使用Dask DataFrame追加Parquet文件出现数据覆盖问题的排查

• 版本匹配缺陷是核心诱因：当前运行环境里的dask 2020.3.1发布时间远早于pyarrow 3.0.0，两套组件的API适配断层非常明显。dask 2020.3版本的parquet写入模块本就处于试验阶段，对pyarrow引擎的append支持存在设计bug：即便传入了append=True、overwrite=False，代码逻辑也没有把该参数组合识别为追加模式，反而触发了“目录存在就全量清空重写”的默认分支。后续pyarrow升级到3.0版本后，dask侧的参数校验回调完全失效，不管传什么写入参数，只要目标路径存在就直接覆盖原有内容。
• 分区文件名完全重合导致无差别覆盖：两次写入的DataFrame数据量极小，经过from_pandas转换后均为单分区，dask默认给分区命名为part.0.parquet。旧版dask在append模式下根本没有做新旧文件的重名校验，第二次写入生成的文件路径和第一次的文件路径完全一致，自然会把原有内容直接覆盖掉，根本走不到追加的流程。
• 格式本身的限制：Parquet格式从设计上就不支持对单个独立文件做原地追加，只有多分片存储的目录结构才能实现文件级别的追加。旧版dask也没有对这个场景做强制校验，不会主动报错提示当前配置不符合追加要求，只会默默执行覆盖逻辑。

• 优先完成版本对齐：将dask升级到2021.1及以上稳定版本，搭配和dask适配版本的pyarrow组件。这个版本已经修复了append模式下的参数识别问题，写入时会自动给新的分区按递增序号命名，不会和旧文件重名，可完全按照参数配置实现追加效果。
• 老环境临时规避：如果暂时无法升级版本，第二次写入时手动指定name_function参数，给新生成的分区文件名加唯一标识避免重名，比如传入name_function=lambda idx: f"part-new-{idx}.parquet"，同时保证两次写入的列结构、索引结构完全一致，就能避免原有文件被覆盖。
• 写入路径规范：写parquet的时候不要把目标路径设置为带.parquet后缀的单文件路径，统一使用无后缀的目录路径作为写入目标，符合dask多分片写入的设计逻辑。

内容的提问来源于stack exchange，提问作者MarkR