从GCS批量加载CSV到BigQuery时数据是增量可见还是全量加载完成后可见

核心结论 #

你使用单份通配符匹配多份GCS CSV文件提交的BigQuery加载作业全程原子性，不会出现加载过程中数据部分可见的情况。

• 对应第一个问题：是。单份通配符加载作业会将所有匹配到的CSV文件作为一个整体处理，所有文件全部校验、加载完成之后，整批数据才会统一写入目标表对外可见，作业处理过程中不会提前将部分文件的数据写入表。
• 对应第二个问题：否。只有你主动将每个CSV文件单独提交独立的加载作业时，才会出现每完成一个作业就增量更新一次表数据的情况。单个通配符作业不会将匹配到的文件拆分为多个独立子作业分批写入。

你关注的「加载完成前访问表查到不完整数据」的情况，在使用单个通配符加载作业的场景下不会发生。作业运行过程中目标表不会存在本次加载的任何数据，只有作业最终成功后才会一次性新增所有匹配文件的全部数据；如果作业运行失败，不会有任何本次加载的数据写入表中，不会影响原有表的已有数据。

内容的提问来源于stack exchange，提问作者figchutney