BigQuery Storage Write API写入后通过Storage Read API读取存在延迟如何解决

Storage Write API写入的新数据会先进入BigQuery的内存缓冲区，Web UI、JDBC走的标准SQL查询链路默认会合并缓冲区与已持久化存储的所有数据，因此可以立即读到最新写入的内容。而默认配置的Storage Read API仅读取已经完成落盘持久化的数据，缓冲区的未提交数据默认不可见，所以会出现延迟。

• 方案1：写入侧显式刷新/提交数据
  如果你使用的是Pending类型的写入流，所有数据写入完成后，先调用FinalizeWriteStream接口终止流，再调用BatchCommitWriteStreams提交流，提交成功后数据会立刻对Storage Read API可见。
  如果你使用的是Committed类型的写入流，写入完成后可以调用FlushRows接口，指定已写入的最大偏移量，强制将缓冲区的数据刷入持久化层，刷新完成后再调用Storage Read API即可读到最新数据。参考调用示例：

  // Go语言Committed流刷新示例
  req := &storage.FlushRowsRequest{
    WriteStream: writeStreamName,
    Offset:      &lastOffset,
  }
  _, err := client.FlushRows(ctx, req)
  

• 方案2：读取侧配置开启未提交数据读取
  无需修改写入逻辑，直接在创建Storage Read API的读会话时，设置include_uncommitted_data参数为true即可。开启后读链路会和标准SQL查询一致，自动合并缓冲区与已持久化的数据，不需要等待落盘就能读取到最新写入的内容。
  注意该配置仅支持同项目下的读请求，跨项目访问需要额外开通缓冲区数据访问权限。
• 方案3：被动等待持久化（仅适合非实时场景）
  无需修改任何代码，写入完成后等待90秒左右，BigQuery后台会自动将缓冲区的数据持久化落盘，默认配置的Storage Read API即可读取到数据，但是时效性最差。

内容的提问来源于stack exchange，提问作者ebyhr