从原DataFrame的RDD创建新DF对Spark性能的影响探究

核心差异在于两个DataFrame的执行逻辑完全不同，你忽略了Spark DataFrame的Catalyst优化器和Parquet列式存储的关键特性：

1. 原DataFrame的快速执行逻辑 #

原DF的Scan Parquet执行计划，本质是Spark利用了Parquet格式的列式存储优化与元数据统计：

• Parquet作为列式存储格式，会在文件元数据中记录诸如分区行数、列统计信息等内容。当你执行count()时，Spark的Catalyst优化器会直接读取这些元数据，不需要扫描实际的文件内容，所以几乎瞬间返回结果。
• 就算需要扫描数据，Parquet的列式读取也能只处理必要的数据，大幅提升效率。

2. 新创建DataFrame的性能损耗原因 #

通过spark.createDataFrame(df.rdd, df.schema)生成的新DF，执行计划是Scan ExistingRDD，这里有两个关键问题：

• 当你调用df.rdd时，会把DataFrame的逻辑执行计划转换成RDD的物理执行计划，这一步完全丢失了Catalyst优化器能利用的所有高层信息（比如Parquet的元数据、分区裁剪规则等）。
• RDD是行式的执行单元，没有列式存储的优化特性。执行count()时，Spark必须遍历RDD的所有分区，逐行统计数据，完全无法复用Parquet的元数据统计，自然耗时更长。

3. 跨SparkSession共享DataFrame的正确方式 #

不要通过RDD中转，推荐两种高效方法：

• 共享临时视图：

  // 在原SparkSession中创建临时视图
  df.createOrReplaceTempView("shared_parquet_df")
  // 在新SparkSession中读取视图
  val newDf = newSparkSession.table("shared_parquet_df")
  

  这种方式下，新DF会继承原有的执行计划优化，性能和原DF一致。
• 写入内存表：
  如果数据量不大，可以将原DF写入内存表，再在新Session中读取：

  // 原Session中写入内存表
  df.write.mode("overwrite").format("memory").saveAsTable("in_memory_df")
  // 新Session中读取
  val newDf = newSparkSession.table("in_memory_df")
  

内容的提问来源于stack exchange，提问作者wrschneider