Spark读取含多行行的CSV时DataFrame count方法结果异常的原因是什么

核心原因 #

该问题是Spark CSV数据源的默认快速计数优化导致的：

• 当DataFrame未被缓存、且执行count()不需要返回具体列内容时，Spark为了提升计数性能，会跳过完整的CSV解析逻辑，直接按换行符统计文件的物理行数。你提供的CSV中第三行的字段内部包含一个被双引号包裹的合法换行符，逻辑上属于同一行，但物理上拆分为了两行，因此直接按换行统计会得到4行的错误结果。
• 调用cache()后再执行count()时，Spark需要先把所有数据按配置规则完整解析后存入内存，无法触发快速计数优化，会严格遵循你设置的multiline、escape参数解析CSV，因此得到正确的3行结果。
• 之前执行df.head(5)结果正确也是同理：head操作需要返回具体的行数据，必须走完整的CSV解析逻辑，不会触发快速计数优化。

解决方案 #

• 关闭CSV快速计数优化：在SparkSession初始化时添加配置 spark.sql.sources.csv.enableFastCount=false（Spark 3.0+通用该参数，低版本可查询对应版本文档确认参数名）
• 强制触发完整解析：在计数前添加无副作用的转换操作，避免快速计数优化被触发，示例如下：

import pyspark.sql.functions as F
# 新增临时列后计数，会强制解析所有行
df.withColumn("_tmp", F.lit(1)).count()

• 针对小文件场景，直接先缓存DataFrame再执行后续操作即可。

内容的提问来源于stack exchange，提问作者Gorionovic