BigQuery使用WRITE_TRUNCATE写入时保留RLS规则的方案咨询

以下几种方案均可满足你「原子性全量覆盖表数据、保留RLS规则」的需求：

方案1：显式事务包裹DELETE+INSERT操作 #

直接将全表删除、新数据写入逻辑放在同一个BigQuery事务中执行，整体原子生效，全程不会修改RLS等表元数据：

BEGIN TRANSACTION;

-- 全表删除原有数据，不会移除RLS规则
DELETE FROM `你的项目ID.你的数据集.目标表` WHERE TRUE;

-- 写入新数据，数据源可替换为你的业务查询结果、中转表等
INSERT INTO `你的项目ID.你的数据集.目标表`
SELECT * FROM `你的项目ID.你的数据集.新数据源表`;

COMMIT TRANSACTION;

• 单事务默认支持最大100GB的数据修改量，超量可申请调整对应配额。
• 无论你是用SDK、调度工具还是控制台提交任务，直接将上述多语句SQL作为单个查询任务提交即可，执行结果要么整体成功要么整体回滚，无中间状态。

方案2：单语句MERGE实现全量覆盖 #

如果你不想处理事务的提交/回滚逻辑，可以用单条MERGE语句实现同样的效果，单SQL天然原子执行，兼容性更强：

MERGE `你的项目ID.你的数据集.目标表` T
USING `你的项目ID.你的数据集.新数据源表` S
ON FALSE -- 所有现有行都不会被匹配，触发全量删除+全量插入逻辑
WHEN NOT MATCHED BY TARGET THEN INSERT ROW
WHEN NOT MATCHED BY SOURCE THEN DELETE;

该方案无需调整现有任务的提交逻辑，直接替换原有写入SQL即可适配绝大多数ETL框架。

方案3：临时表中转+COPY OVERWRITE（推荐大数据量场景） #

如果你的写入数据量超过事务配额限制，可以采用临时表中转的方案，性能远高于DML操作：

1. 先将新数据写入一张和目标表同结构的临时表，无需配置RLS
2. 执行COPY OVERWRITE操作覆盖目标表数据：

COPY `你的项目ID.你的数据集.目标表`
FROM `你的项目ID.你的数据集.临时表`
OVERWRITE;

该操作仅覆盖目标表的存储数据，不会修改表结构、RLS规则、分区聚类配置等任何元数据，且本身是原子性执行，TB级数据也可以在秒级完成切换。

内容的提问来源于stack exchange，提问作者Nakeuh