对同一Dask DataFrame先后调用persist和compute为何触发重复计算

• 确认持久化后的变量被正确复用
  你当前features = features.persist()的写法是符合规范的，但需要检查中间[code making computations on features]段是否存在features被重新赋值、或者衍生计算没有依赖持久化后features的情况，一旦任务图没有关联到已持久化的节点，就会触发上游重新计算。
• 检查横向拼接的前置条件是否满足
  使用dd.concat做axis=1横向拼接时，要求所有输入DataFrame的分区数、索引分区边界完全一致，否则Dask会隐式触发索引对齐的洗牌操作。如果拼接前输入df的known_divisions属性为False，persist后的结果可能在后续计算中被触发索引重校验，导致上游重新计算。建议拼接前先通过df.known_divisions确认所有输入df的索引元信息完整。
• 排查中间操作是否破坏了持久化分区
  如果persist之后对features执行了set_index、repartition、reset_index这类会修改分区结构的操作，原有已持久化的分区会直接失效，Dask会重新拉取上游原始feature_dataframes计算。
• 确认集群内存足够容纳持久化结果
  若Dask集群配置了内存溢出清理策略，持久化后的features可能因为节点内存不足被自动回收，后续compute时就需要重新执行完整任务链。可在持久化后通过客户端的仪表盘查看features的缓存状态确认是否被正常保留。
• 避免持久化未完成就触发后续计算
  persist()是异步方法，调用后会立刻返回而不会等待持久化完成。如果持久化还在进行中就触发了后续的compute，可能导致两份相同的上游任务被提交，出现重复计算。可在persist后添加dask.distributed.wait(features)等待持久化完成再执行后续操作。

另外你当前写入Parquet的写法可以优化：不需要先调用compute()把全量数据拉到客户端转成Pandas再写入，直接调用features.to_parquet("features.parquet")即可直接由集群分布式写入，能大幅降低客户端内存压力，性能也更高。

内容的提问来源于stack exchange，提问作者mlippie