PySpark中DataFrame.checkpoint()与RDD.checkpoint()的差异及相关问题

一、Checkpoint文件的区别 #

两者生成的HDFS文件本质没有格式差异，都是序列化后的RDD数据。因为DataFrame的底层就是Row类型的RDD，DataFrame.checkpoint()本质就是对其对应的RDD执行checkpoint操作，生成的文件结构、内容以及命名格式（如rdd-2），都和直接调用RDD的checkpoint完全一致。

二、RDD的checkpoint文件能否被对应DataFrame复用？ #

可以，但需满足两个前提：

• 必须基于同一个底层RDD实例：比如DataFrame是通过spark.createDataFrame(已checkpoint的RDD)创建的。
• RDD的checkpoint状态已生效：RDD执行checkpoint后，必须触发一次action操作完成持久化，之后DataFrame计算时会自动识别底层RDD的checkpoint状态，直接复用HDFS上的文件，无需重新计算原依赖链。

注意：如果DataFrame是通过其他逻辑转换生成（即使数据逻辑和原RDD一致），但底层RDD实例不同，就无法复用之前的checkpoint文件。

三、DataFrame是否有类似RDD.getCheckpointFile()的方法？ #

Spark原生API中，DataFrame/Dataset没有直接提供getCheckpointFile()方法，但可以通过间接方式获取：
先获取DataFrame对应的底层RDD，再调用RDD的getCheckpointFile()方法，示例代码：

val checkpointPath = df.rdd.getCheckpointFile()

只有当DataFrame已执行checkpoint且完成action触发后，调用上述代码才能得到有效路径，否则返回None。

内容的提问来源于stack exchange，提问作者Daniil