如何在BigQuery FROM语句中动态指定数据集ID变量？

可以在FROM语句中动态指定数据集ID，但不能像你原代码那样直接用CONCAT拼接字符串作为表引用——BigQuery的静态SQL不支持这种写法，会把CONCAT误判为未定义的表值函数，从而抛出报错。正确的实现方式是使用动态SQL（EXECUTE IMMEDIATE）。

错误原因 #

你原代码里FROM CONCAT("project_id.", dataset_id.dataset_def, ".__TABLES__")的写法不符合BigQuery语法规则：CONCAT是字符串处理函数，不能直接放在FROM子句后作为表/视图引用，因此触发Table-valued function not found: CONCAT错误。

解决方案：用EXECUTE IMMEDIATE执行动态SQL #

通过EXECUTE IMMEDIATE可以动态构建并执行SQL语句，实现数据集ID的变量化引用，以下是两种可行写法：

方式1：直接拼接SQL字符串（简单场景）

DECLARE dataset_ids ARRAY<STRING> DEFAULT ["dataset_id_1","dataset_id_2"];
DECLARE dataset_id STRING;

-- 遍历每个数据集ID
FOR dataset_id IN (SELECT * FROM UNNEST(dataset_ids)) DO
  -- 动态生成并执行查询
  EXECUTE IMMEDIATE CONCAT(
    'SELECT creation_time FROM `project_id.', dataset_id, '.__TABLES__`'
  );
END FOR;

方式2：参数传递（更安全）

通过USING子句传递变量，避免直接字符串拼接的潜在风险（比如特殊字符处理）：

DECLARE dataset_ids ARRAY<STRING> DEFAULT ["dataset_id_1","dataset_id_2"];
DECLARE dataset_id STRING;
DECLARE temp_results ARRAY<STRUCT<creation_time TIMESTAMP>>;

FOR dataset_id IN (SELECT * FROM UNNEST(dataset_ids)) DO
  -- 用USING传递变量，动态执行查询
  EXECUTE IMMEDIATE """
    SELECT creation_time FROM `project_id.` || ? || `.__TABLES__`
  """ USING dataset_id INTO temp_results;
  
  -- 输出当前数据集的查询结果
  SELECT * FROM UNNEST(temp_results);
END FOR;

进阶：合并多数据集结果统一输出 #

如果需要将多个数据集的结果合并为一个结果集返回，可以用数组变量存储所有结果，最后统一输出：

DECLARE dataset_ids ARRAY<STRING> DEFAULT ["dataset_id_1","dataset_id_2"];
DECLARE dataset_id STRING;
DECLARE all_results ARRAY<STRUCT<dataset_id STRING, creation_time TIMESTAMP>> DEFAULT [];
DECLARE temp_results ARRAY<STRUCT<dataset_id STRING, creation_time TIMESTAMP>>;

FOR dataset_id IN (SELECT * FROM UNNEST(dataset_ids)) DO
  EXECUTE IMMEDIATE """
    SELECT ? AS dataset_id, creation_time 
    FROM `project_id.` || ? || `.__TABLES__`
  """ USING dataset_id, dataset_id INTO temp_results;
  
  -- 将当前结果追加到总结果数组
  SET all_results = ARRAY_CONCAT(all_results, temp_results);
END FOR;

-- 输出合并后的所有结果
SELECT * FROM UNNEST(all_results);

内容的提问来源于stack exchange，提问作者Timo Rietveld