BigQuery增量传输是否会因GCS生命周期归档操作重加载文件？

问题1：BigQuery增量传输是否仅通过对象的更新时间戳检测新/修改文件？ #

BigQuery的GCS增量传输主要以对象的更新时间戳作为核心判断依据，但同时会结合ETag（实体标签）验证内容是否实际变更。不过只要更新时间戳发生变化，传输任务就会将其标记为待处理文件，触发扫描验证。

问题2：生命周期触发的存储类变更是否会导致BigQuery在下次增量运行时重新加载这些文件？ #

会。GCS修改存储类的操作会直接更新对象的最后修改时间戳，同时ETag也会随之改变。这会被BigQuery增量传输判定为“已修改”文件，进而触发重新加载，最终造成目标表数据重复。

问题3：避免重复加载归档文件的解决方法 #

• 按日期路径分区+过滤规则：将每日文件按日期组织到独立路径（如gs://bucket/dt=YYYY-MM-DD/），在BigQuery传输配置中设置路径过滤规则，仅同步指定时间范围内的路径。归档时将整个日期目录移动到非扫描的归档路径（如gs://bucket/archive/dt=YYYY-MM-DD/），让传输任务无法扫描到归档文件。
• 基于文件名跟踪已加载文件：如果文件名唯一且固定（如包含日期后缀data_YYYY-MM-DD.csv），在传输配置中选择“基于文件名跟踪已加载文件”模式，替代默认的时间戳判断逻辑。即使文件存储类变更，只要文件名未变，就不会被重复加载。
• 归档时移动文件而非修改存储类：创建GCS生命周期规则，将30天前的文件移动到独立的归档存储桶，且不为该归档桶配置BigQuery传输任务。原传输任务的扫描范围不包含归档桶，自然不会触发重复加载。
• BigQuery侧数据去重：若上述方法无法落地，可在目标表中设置唯一键（如文件名+业务主键），通过MERGE语句替代直接追加加载；或为表设置分区与聚类，定期运行DELETE作业清理重复行。

内容的提问来源于stack exchange，提问作者Etienne Neveu