Google BigQuery删除指定时间区间行触发streaming buffer不支持报错如何解决

这个报错是BigQuery的内置规则触发的：通过流式接口写入表的数据，会先暂存在流式缓冲区中，这部分临时存储的行未被持久化到正式表存储层，不支持执行DELETE/UPDATE类的DML操作。只要你当前执行的DELETE语句匹配到哪怕1行属于流式缓冲区的记录，整个语句就会被拦截，抛出对应报错。

注意：BigQuery对流式缓冲区的判定和行内存储的time_stamp字段取值无关，只要是近24小时内通过流式接口写入的行，哪怕行内的时间字段是几年前的历史值，都会被计入缓冲范围，触发DML限制——这也是你删除几年前时间范围的数据时，依然会碰到这个报错的核心原因。

• 等待流式缓冲区完全排空后再执行删除
  正常情况下，流式写入的数据会在写入完成后90分钟左右自动从缓冲区落盘为正式表数据，极端场景下最长排空周期不超过24小时。可以通过元数据查询实时判断缓冲区状态：

  SELECT
    estimated_streaming_time,
    estimated_rows,
    estimated_bytes
  FROM `elaborate-howl-285701`.region-us.INFORMATION_SCHEMA.TABLE_STATISTICS
  WHERE table_name = 'expense'
  

  当查询返回的estimated_rows为0时，说明当前表没有待落盘的缓冲数据，此时再跑原DELETE语句即可正常执行。
• 调整删除逻辑绕开流式缓冲区限制
  不需要等缓冲完全排空时，可以通过调整逻辑规避限制：
  1. 先查询当前流式缓冲区中存储的所有数据的time_stamp取值范围，在原DELETE的WHERE条件中，排除掉落在该取值区间的行，先删除其他已经持久化到正式存储层的数据
  2. 等被排除区间的行从缓冲落盘后，再执行一次DELETE删除这部分残留的目标数据
• 全量重写表替换内容
  如果需要立刻完成数据清理，不需要等待缓冲排空，可以通过全量重写的方式绕开DML限制：
  1. 新建一张临时表，将原表中所有不需要删除的记录全部查询写入临时表（写入时会自动排除尚未落盘的流式缓冲行，无额外限制）
  2. 将原表的内容替换为临时表的内容，替换完成后即可完成目标范围的数据删除，全程不会触发缓冲区的DML限制

提示：BigQuery的规则是只要DELETE/UPDATE语句匹配到任意一行流式缓冲的记录，整个语句都会直接失败，不存在“只删非缓冲行”的部分执行逻辑，调整删除范围时必须严格保证匹配到的行全部已经落盘到正式存储层。

内容的提问来源于stack exchange，提问作者Hammad Shamim