Databricks Auto Loader集群未激活时新文件识别机制及配置问询

1. 集群未激活时上传文件的记录方式 #

当集群处于未激活状态时，Auto Loader不会实时处理或记录已上传的50个文件——因为Auto Loader的运行依赖集群计算资源，集群未激活意味着没有对应作业在监听存储路径。这些文件会留在存储位置，直到集群重新激活、对应的Auto Loader作业启动后才会被识别。

2. 是否会使用检查点位置？ #

集群未激活期间，Auto Loader完全没有运行，因此不会使用检查点位置。检查点的作用是记录Auto Loader已处理文件的偏移量/状态，只有当Auto Loader作业运行时才会读写检查点。

3. 云存储中检查点位置的配置方法 #

要让Auto Loader在集群重启后识别新文件（包括集群未激活期间上传的文件），需在初始化Auto Loader时指定持久化的云存储检查点路径，以Databricks环境为例，配置代码如下：

df = spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \ # 根据实际文件格式调整为parquet/json等
  .option("cloudFiles.checkpointLocation", "s3://your-bucket/checkpoint-path") \ # 替换为对应云存储路径（S3/ADLS/GCS均可）
  .option("cloudFiles.schemaLocation", "s3://your-bucket/schema-path") \ # 可选，用于自动推断Schema
  .load("s3://your-bucket/source-files")

配置核心要点：

• 检查点路径必须指向云存储中的持久化路径，不能用本地路径，确保集群重启后状态不丢失
• 同一Auto Loader作业必须始终使用相同的检查点路径，否则会出现重复处理或状态丢失问题

4. 集群未激活时Auto Loader识别新文件的后端流程 #

当集群重新激活、Auto Loader作业启动后，识别未激活期间上传文件的流程如下：

• 步骤1：启动时读取检查点，获取上次作业停止时记录的已处理文件元信息（文件名、修改时间、ETag等）
• 步骤2：扫描源存储路径下的所有文件，对比检查点中的已处理列表，筛选出未被记录的文件（包括集群未激活期间上传的50个文件）
• 步骤3：更新检查点状态，将这些新文件标记为待处理，避免后续重复扫描
• 步骤4：将筛选出的新文件加载到Spark流处理作业中，执行后续的数据转换、写入操作

内容的提问来源于stack exchange，提问作者Asif Khan