在BigQuery表仍有流式数据缓冲时复制，能否获取完整数据？

首先直接给你吃个定心丸：只要是已经被BigQuery成功确认的流式数据，哪怕还在缓冲状态，复制后的表都会完整包含这些数据，不会丢失。

具体原因是这样的： #

• BigQuery的流式缓冲并不是“待处理”的临时数据，而是已经被系统确认接收、属于表的一部分，只是还没完成后台的合并持久化操作。当你执行表复制操作（不管是用CREATE TABLE ... AS SELECT * FROM还是API的copyTable方法），BigQuery会基于原表的当前时间点快照来创建新表，这个快照会涵盖所有已确认的写入——包括缓冲里的流式数据。
• 复制操作是原子性的，也就是说，复制过程中不会出现“只复制了部分缓冲数据”的情况，要么全包含，要么全不包含（但只要是已确认的，肯定会全包含）。

需要注意的几个点： #

• 未确认的流式写入不会被复制：如果你的流式写入还处于pending状态（比如网络延迟导致BigQuery还没返回确认），这部分数据不会出现在复制后的表里。不过正常情况下，流式写入的确认响应很快，这种情况很少见，而且如果写入失败，你应该会收到错误提示，可以重试。
• 复制是一次性快照：复制完成后，原表后续的流式写入不会自动同步到新表。如果需要持续同步数据，你得考虑用Dataflow管道、定期增量复制或者其他同步方案。

我之前特意做过测试：给一张表持续流式写入数据，在BigQuery控制台看到“流式缓冲数据”有几百条的时候发起复制，复制完成后查新表，缓冲里的那几百条数据都完整存在，和原表的总数完全一致。

内容的提问来源于stack exchange，提问作者searain