Amazon S3 每日数据传输至 BigQuery 出现数据追加而非覆盖问题

方案1：全量覆盖目标表（仅需保留最新数据场景） #

该方案适配仅需要在BigQuery表中留存当日最新CSV数据的需求：

• 打开BigQuery控制台，进入「数据传输」模块，找到对应S3同步任务，点击「编辑」
• 在「目标配置」板块，将*写入模式（Write Disposition）*从默认的WRITE_APPEND修改为WRITE_TRUNCATE
• 保存配置后重新启动任务即可，后续每次同步都会先清空目标表所有历史数据，再写入当日S3的CSV全量数据，不会出现重复

提示：该操作会清空目标表现有所有历史数据，若需要留存历史数据请使用下方方案。

方案2：分区表按日覆盖分区（需留存历史数据场景） #

如果业务需要保留全量历史同步数据，可通过分区表实现按日更新：

• 首先将目标表调整为按日期分区的分区表，分区字段可选择任务运行日期，或者CSV文件内自带的业务日期字段
• 回到S3同步任务的编辑页面，开启「分区覆盖」功能，配置分区过滤条件为任务运行当日对应的日期值
• 将写入模式设置为WRITE_TRUNCATE，后续每次同步只会清空并覆盖当日对应的分区数据，历史分区的数据不会受到影响，既不会产生重复数据，也能完整留存历史同步记录

方案3：自定义传输任务加前置清理逻辑 #

如果你使用的是自定义脚本、Airflow等第三方工具而非BigQuery原生数据传输服务，可在同步写入数据前先执行一步清理SQL：

-- 仅保留最新数据场景：清空整张表
TRUNCATE TABLE `your_project_id.your_dataset.your_table`;

-- 保留历史数据场景：仅删除当日分区数据
DELETE FROM `your_project_id.your_dataset.your_table` WHERE dt = CURRENT_DATE();

内容的提问来源于stack exchange，提问作者MANASI GOKHALE