Spark调用count结果异常，修改文件后统计不正确的问题咨询

核心原因 #

Spark的DataFrame虽为惰性求值，但创建时会缓存数据源的元信息，复用同一DataFrame执行Action时不会重新扫描文件系统获取最新状态：

• 元数据缓存机制：执行spark.read.text("./temp.txt")创建DataFrame时，Spark会扫描目标文件，记录文件的元信息（如大小、分区划分等），并将这些信息绑定到DataFrame的执行计划中。
• 复用DataFrame的局限性：第一次count()执行完成后，即使修改了文件内容，第二次调用count()时，Spark会基于之前缓存的元信息读取文件，而非重新扫描文件系统获取最新状态。在你的测试场景中，这导致第二次读取只获取到新增的3行内容，而非完整的5行。
• 重新创建DataFrame的作用：在第二次count()前重新创建DataFrame时，Spark会重新扫描文件系统，获取最新的文件元信息并生成新的执行计划，因此能读取到全部5行内容。

解决方案 #

• 如果需要每次Action都读取最新的文件内容，不要复用同一个DataFrame，在每次执行Action前重新创建DataFrame。
• 针对需要实时监控文件变化的场景，推荐使用Structured Streaming的文件源，它会定期扫描指定目录，自动感知新增的文件内容。示例代码如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local[4]").getOrCreate()

# 初始化Structured Streaming读取文件流
stream_df = spark.readStream.text("./")

# 输出查询结果到控制台
query = stream_df.writeStream.format("console").start()
query.awaitTermination()

内容的提问来源于stack exchange，提问作者Dhruv