BigQuery带流式缓冲区的TRUNCATE行为变更问题咨询

问题场景 #

• 长期执行TRUNCATE TABLE操作截断带有活跃流式缓冲区的BigQuery表，2024年2月23日无代码变更的情况下突然失败
• 具体报错：

  googleapi: Error 400: TRUNCATE DML statement over table XXX would affect rows in the streaming buffer, which is not supported, invalidQuery

变更原因 #

2024年2月23日BigQuery官方文档更新，将TRUNCATE TABLE的归类从DDL（数据定义语言）改为DML（数据操作语言）：

• 旧版官方内容明确TRUNCATE属于DDL，仅清除表中所有行但保留元数据，DDL操作不受流式缓冲区数据的限制
• 而DML操作受BigQuery规则约束：无法修改或删除仍在流式缓冲区中的数据，因此触发了上述报错

替代解决方案 #

以下几种方式可绕过当前限制：

1. 等待流式缓冲区落地：流式缓冲区的数据通常会在90分钟内自动写入表的持久化存储，待落地后再执行TRUNCATE
2. 重建表结构：用DROP TABLE+CREATE TABLE组合操作，保留原表结构和元数据：

   DROP TABLE IF EXISTS `your-project.your-dataset.your-table`;
   CREATE TABLE `your-project.your-dataset.your-table` AS SELECT * FROM `your-project.your-dataset.your-table` LIMIT 0;
   

3. 分区表适配：如果是分区表，可针对已落地的分区执行删除操作，或通过时间范围过滤避开流式缓冲区数据（仅适用于按时间分区的场景）

额外说明 #

目前官方未公开说明这次归类变更的具体背景和影响范围，若需要权威解释，可提交Google Cloud支持工单获取官方答复。

内容的提问来源于stack exchange，提问作者opera127