Autoloader：文件通知与backfillInterval使用方法及代码位置咨询

1. backfillInterval 的归属环节 #

backfillInterval 是 Auto Loader 源端的配置参数，完全属于 spark.readStream 环节，需要在定义读取流时通过 .option() 传入。

2. 使用示例代码 #

Scala 示例 #

val df = spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "json") // 适配你的源文件格式
  .option("cloudFiles.backfillInterval", "1 hour") // 设置每小时执行一次回填
  .load("/path/to/your/source/dir")

df.writeStream
  .format("delta")
  .option("checkpointLocation", "/path/to/checkpoint")
  .start("/path/to/your/destination")

Python 示例 #

df = spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "json") \
  .option("cloudFiles.backfillInterval", "1 hour") \
  .load("/path/to/your/source/dir")

df.writeStream \
  .format("delta") \
  .option("checkpointLocation", "/path/to/checkpoint") \
  .start("/path/to/your/destination")

3. 核心说明 #

• 该参数用于指定 Auto Loader 主动扫描源目录、捕获遗漏文件的时间间隔，支持的格式包括 "5 minutes"、"2 hours" 这类自然语言时间表达式。
• 回填逻辑会基于 checkpoint 中记录的已处理文件状态，自动找出未被文件事件通知捕获的文件并处理，以此弥补事件通知无法100%交付的缺陷。
• 可搭配 cloudFiles.backfillMaxFiles 参数限制单次回填处理的最大文件数，避免单次扫描压力过大。

内容的提问来源于stack exchange，提问作者Greencolor