Spark仅加载CSV无转换动作，为何始终生成3个阶段与3个任务？

这个现象其实是Spark CSV数据源的默认执行逻辑导致的——哪怕你只做了加载操作、没加任何转换或动作，底层也会完成几个必要的前置步骤，我们来拆解每个阶段的作用：

• 第一阶段：文件元数据与合法性检查
  Spark首先会触发一个轻量任务，去文件系统验证目标CSV文件的存在性，获取文件大小、存储块信息等元数据。这一步是为了确保后续读取流程能正常进行，哪怕文件是空的也会执行。

• 第二阶段：Schema推断（或验证）
  从你的代码来看，应该是使用了Spark CSV的默认配置（没有显式指定Schema）。这时候Spark会自动启动一个任务，读取文件的表头行（或采样部分数据）来推断每个字段的数据类型、确定列名。哪怕文件只有表头没有数据，这一步也会执行——因为Spark需要明确DataFrame的结构。

  如果你的代码显式指定了Schema（比如提前定义好StructType），这一步会变成Schema验证，流程会更轻量，但依然会作为一个独立阶段存在。

• 第三阶段：实际数据加载（或空读取）
  当文件合法性确认、Schema确定后，Spark会执行最终的读取任务：如果文件有数据，就把内容加载成DataFrame；如果是空文件或只有表头，就执行一个空读取任务来完成整个流程的闭环。

举个例子，你的代码补全后大概是这样：

public class WordCount { 
    public static void main(String[] args) throws InterruptedException { 
        SparkSession spark = SparkSession.builder()
            .appName("Java Spark Application")
            .master("local")
            .getOrCreate(); 
        // 默认配置下会自动推断Schema，触发中间阶段
        Dataset<Row> df = spark.read().csv("your-target-file.csv");
    }
}

需要注意的是：哪怕你没有调用df.show()、df.count()这类触发动作的方法，Spark在执行Schema推断时也会自动触发一个小型job——这就是你在UI里看到3个阶段的原因，这些都是CSV读取流程中不可或缺的前置步骤。

内容的提问来源于stack exchange，提问作者Pratibha Baghare