Databricks Autoloader重复加载问题：同一文件不同场景是否重复加载

1. 同一文件从不同路径加载，是否会再次加载？ #

会。Autoloader 判断文件是否已处理的核心依据是文件的完整路径加上元数据（文件大小、修改时间等）。哪怕两个文件内容完全一致，只要存放路径不同，Autoloader 就会将它们视为两个独立的文件，都会触发加载流程。

2. 同一文件一段时间后重新放回同一目录，是否会被重复加载？ #

分两种情况：

• 如果放回的文件和之前处理过的文件大小、修改时间完全一致，Autoloader 会通过 checkpoint 中记录的已处理文件元数据识别出这是旧文件，不会重复加载。
• 如果放回的文件内容有变更（导致大小/修改时间变化），或者文件内容不变但修改时间被更新，Autoloader 会判定为新文件，重新加载。另外，若手动清理了 Autoloader 的 checkpoint 目录，即使是完全相同的文件放回原目录，也会被再次加载。

内容的提问来源于stack exchange，提问作者A_M_2020