Databricks Autoloader中includeExistingFiles: false配置不生效求助

问题场景 #

使用Databricks Autoloader从ADLS Gen2摄取文件，目标仅处理任务启动后新增的文件，但配置includeExistingFiles: false后，现有文件仍被重复摄取。切换至文件通知模式替代目录列表模式后，问题依旧存在。

当前配置 #

{
  "cloudFiles.format": "json",
  "multiline": true,
  "pathGlobFilter": "*.json",
  "includeExistingFiles": "false",
  "cloudFiles.schemaLocation": "<inferred_schema_folder_path>",
  "cloudFiles.schemaEvolutionMode": "addNewColumns",
  "cloudFiles.inferColumnTypes": "true",
  "cloudFiles.rescuedDataColumn": "unexpected_data",
  "cloudFiles.maxFilesPerTrigger": 10000,
  "cloudFiles.useNotifications": "true",
  "cloudFiles.subscriptionId": "<config.AZURE_SUB_ID>",
  "cloudFiles.tenantId": "<config.AZURE_TENANT_ID>",
  "cloudFiles.clientId": "<config.AZURE_CLIENT_ID>",
  "cloudFiles.clientSecret": "<config.AZURE_CLIENT_SECRET>",
  "cloudFiles.resourceGroup": "Development"
}

可能的原因及解决方法 #

• 参数类型错误：includeExistingFiles要求传入布尔值而非字符串。当前配置里的"false"是字符串格式，会被Databricks解析为true，导致参数完全失效。直接改成false（去掉引号）即可触发预期逻辑。
• 元数据残留：Autoloader的文件处理记录存在cloudFiles.schemaLocation指定的目录中，如果之前任务运行过（哪怕没配置includeExistingFiles），元数据已经记录了现有文件，重启任务后会基于旧记录重复处理。解决方式：删除该目录下所有checkpoint和元数据文件，重新启动任务。
• 通知模式权限不足：文件通知模式依赖Event Grid触发，需确保配置的服务主体（clientId对应账号）拥有两个核心权限：
  • ADLS Gen2存储账户的Storage Blob Data Contributor权限
  • Azure订阅的Event Grid Contributor权限
    权限不足会导致通知触发失败，Autoloader自动退回到目录列表模式，进而重复处理旧文件。
• 路径过滤验证：确认pathGlobFilter和摄取根路径是否正确，避免意外匹配到包含历史文件的子目录。

内容的提问来源于stack exchange，提问作者Kshitij Gupta