如何检查文件是否已被Databricks Autoloader处理？

• 检查Checkpoint目录的偏移记录
  Autoloader会把已处理文件的路径记录在指定checkpoint目录下的offsets子目录中。你可以通过Databricks工作区的文件浏览器导航到该目录，查看里面的分区文件（如000000、000001等），文件内容会列出已处理的文件路径。也可以用命令行查看：

  dbutils.fs.head("/path/to/your/checkpoint/offsets/000000")
  

• 查看作业运行日志
  如果Autoloader是以结构化流作业运行的，在Databricks作业的运行详情页面切换到「日志」标签页，直接搜索目标文件名。日志里会包含类似Processed file: /dbfs/path/to/file.csv的条目，以此确认文件是否被处理。

• 查询目标Delta表的元数据
  若Autoloader将数据写入Delta表，可通过两种方式验证：

  1. 查询表的_metadata字段（Autoloader自动添加），该字段包含源文件路径：

     SELECT DISTINCT _metadata.file_path 
     FROM your_target_table 
     WHERE _metadata.file_path = "/dbfs/path/to/your/target/file.csv"
     

     若返回结果，说明文件已被处理。
  2. 使用DESCRIBE HISTORY查看表的版本变更，确认对应时间点是否有该文件的数据写入记录：

     DESCRIBE HISTORY delta.`/path/to/your/table`
     

• 验证数据内容
  如果文件里有唯一标识（比如特定ID、时间戳），可以直接查询目标表中是否存在这些标识数据，间接确认文件是否被处理。

内容的提问来源于stack exchange，提问作者peace