cloudFiles.backfillInterval是否会让Autoloader每次运行都扫描全部源文件？

首先明确：cloudFiles.maxFileAge并非用来限制回填扫描范围的参数，它仅用于过滤实时新增的文件——只有修改时间在指定范围内的新文件才会被纳入流处理，对回填流程的扫描范围无影响。

要控制回填的扫描范围、避免全量扫描的性能问题，可采用以下几种方案：

1. 限制单次回填的文件数量 #

通过cloudFiles.backfillMaxFiles参数限定每次回填扫描的文件上限，让大数量级的文件分批次完成回填，避免单次扫描耗时随文件总量增长而无限拉长。

示例配置：

spark.readStream.format("cloudFiles")
  .option("cloudFiles.format", "parquet")
  .option("cloudFiles.backfillInterval", "1 day")
  .option("cloudFiles.backfillMaxFiles", "1000")
  .load("/path/to/source")

2. 基于分区路径定向扫描（推荐） #

如果源数据按时间/业务维度分区存储（如s3://bucket/path/year=2024/month=05/day=20/），可通过pathGlobFilter或限定加载路径，让回填仅扫描指定分区的文件。

比如每天回填仅扫描过去7天的分区：

from datetime import datetime, timedelta

seven_days_ago = (datetime.now() - timedelta(days=7)).strftime("%Y/%m/%d")
spark.readStream.format("cloudFiles")
  .option("cloudFiles.format", "parquet")
  .option("cloudFiles.backfillInterval", "1 day")
  .option("pathGlobFilter", f"*/{seven_days_ago}/*")
  .load("/path/to/source/*/*/*")

也可直接限定加载路径范围：

spark.readStream.format("cloudFiles")
  .option("cloudFiles.format", "parquet")
  .option("cloudFiles.backfillInterval", "1 day")
  .load("/path/to/source/year=2024/month=05/day=1[3-9]")

3. 手动触发定向回填 #

若内置定期回填不符合需求，可关闭自动回填（不设置cloudFiles.backfillInterval），改用手动方式触发定向回填：

• 通过cloudFiles.backfill参数指定要回填的路径或范围，启动一次性回填作业；
• 结合Databricks Jobs等调度工具，定期执行定向回填任务，完全掌控扫描范围。

示例手动回填配置：

spark.readStream.format("cloudFiles")
  .option("cloudFiles.format", "parquet")
  .option("cloudFiles.backfill", "/path/to/source/year=2024/month=05")
  .load("/path/to/source")

关键注意事项 #

• 切勿用cloudFiles.maxFileAge控制回填范围，它仅作用于实时新增文件的过滤；
• 分区存储是优化扫描性能的核心，尽量让源数据按时间或业务维度分区，可大幅降低回填的扫描量级。

内容的提问来源于stack exchange，提问作者Andy McWilliams