BigQuery使用CTE查询结果自动建表并实现每日自动刷新的方法

你可以直接使用BigQuery的CREATE TABLE AS SELECT（CTAS）语法改造现有查询，运行后会自动将结果写入你指定的目标表路径：

CREATE OR REPLACE TABLE `project.dataset.target_table` -- 替换为你需要存储的目标表完整路径
AS
With A as (
select 
   atb.some_thing as a_field,
   atb.somethingelse as a_otherfield
   from `project.dataset.atable` AS atb
),
B AS (
 select 
 bt.some_thing as b_field
 from `project.dataset.btable` AS bt
)
select 
    A.a_field,  
    A.a_otherfield,
    B.b_field
  from A 
  left join B on A.a_field = B.b_field  

说明：使用CREATE OR REPLACE TABLE会在每次运行时覆盖原有目标表数据，如果你需要追加数据可以替换为INSERT INTO语法。如果数据量较大，也可以在表路径后添加PARTITION BY DATE(你的日期字段)配置创建分区表，优化存储和查询成本。

你可以根据自身技术栈选择对应方案实现每日自动刷新：

• **方案1：BigQuery原生计划查询（零额外开发成本，普通场景优先推荐）
  在BigQuery控制台写完上述改造后的查询语句后，点击页面上方的「计划查询」按钮，设置调度频率为每日、指定运行时区即可，平台会自动按设定周期执行查询、更新目标表。
• **方案2：Cloud Composer（托管Airflow）调度
  若团队已有统一的大数据任务调度体系，可将该查询封装为Airflow DAG中的任务节点，配置每日调度规则即可，适配多任务依赖的复杂业务场景。
• **方案3：Cloud Scheduler + Cloud Function 组合调度
  若需要在查询执行前后增加自定义处理逻辑，可通过Cloud Scheduler设置每日触发规则，触发对应Cloud Function调用BigQuery API执行查询写入目标表。

内容的提问来源于stack exchange，提问作者Chesou