在BigQuery中测试IF EXISTS并仅导出存在数据的相关疑问

当前方案的成本问题 #

你现在用IF EXISTS(select * from A)的写法会大幅增加计算成本——因为select * from A会扫描整张表的所有数据，哪怕只是为了判断表是否存在。BigQuery按扫描数据量计费，这种完全没必要的全表扫描会额外消耗不少费用。

但如果把检查语句改成IF EXISTS(select 1 from A limit 1)，就只会扫描表中的1行数据，成本几乎可以忽略不计——哪怕是超大表，这个检查步骤的费用也微乎其微。

另外，BigQuery的查询缓存确实会生效，但缓存只针对重复的查询结果，而检查表存在的查询本身数据量极小，缓存带来的收益有限，重点还是要优化检查语句避免全表扫描。

替代方案 #

1. 用INFORMATION_SCHEMA做零成本元数据检查 #

直接查询BigQuery的元数据视图判断表是否存在，这类元数据查询不收取计算费用：

IF EXISTS(
  SELECT 1 FROM `你的项目ID.你的数据集ID.INFORMATION_SCHEMA.TABLES`
  WHERE table_name = 'A' AND table_schema = '你的数据集ID'
) THEN
  EXPORT DATA
  OPTIONS(
    uri='gs://你的存储桶/路径/*.parquet',
    format='PARQUET',
    overwrite=true
  ) AS
  SELECT * FROM `你的项目ID.你的数据集ID.A`;
END IF;

2. 用命令行/脚本实现（完全规避查询成本） #

如果在BigQuery编辑器里批量处理多表导出不方便，推荐用Cloud Shell的bq命令行工具，或者Python/Go等客户端脚本：

• 先检查表是否存在：

  bq show 你的项目ID:你的数据集ID.A
  

  若命令返回状态码0，说明表存在，接着执行导出：

  bq extract --destination_format=PARQUET --replace 你的项目ID:你的数据集ID.A gs://你的存储桶/路径/*.parquet
  

• 用Python脚本的话，可以通过BigQuery客户端的get_table方法捕获异常判断表是否存在，存在则调用extract_table方法完成导出。

3. 用存储过程封装批量导出逻辑 #

如果需要在BigQuery内部批量处理多表导出，可以把逻辑封装成存储过程，传入表名、存储桶路径等参数：

CREATE OR REPLACE PROCEDURE `你的项目ID.你的数据集ID.export_table_if_exists`(
  table_name STRING,
  gcs_uri STRING
)
BEGIN
  DECLARE table_exists BOOL;
  SET table_exists = EXISTS(
    SELECT 1 FROM `你的项目ID.你的数据集ID.INFORMATION_SCHEMA.TABLES`
    WHERE table_name = table_name
  );
  
  IF table_exists THEN
    EXPORT DATA
    OPTIONS(
      uri=gcs_uri,
      format='PARQUET',
      overwrite=true
    ) AS
    SELECT * FROM `你的项目ID.你的数据集ID.` || table_name;
  END IF;
END;

调用时只需传入参数：

CALL `你的项目ID.你的数据集ID.export_table_if_exists`('A', 'gs://你的存储桶/路径/*.parquet');

内容的提问来源于stack exchange，提问作者Bigquery Questioner