Spark DataFrame读取CSV的三种方法差异解析

核心结论 #

三种读取CSV的方式功能、性能完全一致，底层调用的是同一套CSV数据源实现逻辑，差异仅在于语法形式和适用场景。

逐个拆解三种方式的本质 #

1. spark.read.csv("/tmp/resources/zipcodes.csv")

这是Spark为常用数据源（CSV、Parquet、JSON等）提供的快捷语法糖，内部直接等价于调用spark.read.format("csv").load("/tmp/resources/zipcodes.csv")。

• 写法更简洁，支持直接在方法参数中传入CSV配置项，比如：

  spark.read.csv("/tmp/resources/zipcodes.csv", header=True, inferSchema=True)
  

  效果完全等同于：

  spark.read.format("csv") \
      .option("header", True) \
      .option("inferSchema", True) \
      .load("/tmp/resources/zipcodes.csv")
  

2. spark.read.format("csv").load("/tmp/resources/zipcodes.csv")

这是Spark通用的数据源读取接口，通过format()指定数据源类型，再用load()加载文件路径。

• 优势在于通用性：如果后续需要切换读取Parquet、JSON等其他数据源，只需修改format()的参数（比如format("parquet")），其余代码结构无需改动，适合动态切换数据源的场景。

3. spark.read.format("org.apache.spark.sql.csv").load("/tmp/resources/zipcodes.csv")

这是指定数据源的全限定类名写法，和format("csv")完全等价。

• Spark内部维护了短名称到全限定类名的映射表，"csv"就是"org.apache.spark.sql.csv"的官方别名。这种写法仅在使用自定义数据源（未注册短名称映射）时才需要用到，日常读取内置的CSV数据源完全没必要写全限定类名。

澄清常见误区 #

1. 关于“全限定数据源名称”的误解
   教程里提到的“全限定数据源名称”指的是数据源的类名（比如org.apache.spark.sql.csv），而非文件路径的全限定路径，两者是完全不同的概念，教程表述容易造成混淆。
2. 关于性能差异的错误说法
   不存在csv()方法比format("csv")性能更高的情况，两者底层逻辑完全一致。部分资料提到的“性能差异”是混淆了不同数据源（比如CSV vs Parquet）之间的性能区别，而非同一数据源的不同调用方式。

场景选择建议 #

• 固定读取CSV文件时，优先用spark.read.csv()，写法最简洁；
• 需要动态切换数据源（比如根据配置读取不同类型文件）时，用format()的通用方式更灵活；
• 全限定类名写法仅在自定义数据源场景下使用，日常开发无需考虑。

内容的提问来源于stack exchange，提问作者user2153235