如何在GCP中用_ENV替换变量参数化BigQuery数据集名称？

根据你要切换dev/prod环境表名的需求，这里提供几种实用的实现方式：

1. Shell脚本 + BigQuery命令行工具（bq） #

适合日常运维、定时任务场景，通过Shell变量替换实现动态表名：

# 设置环境标识：dv对应dev，pd对应prod
export ENV="dv"

# 拼接并执行INSERT语句
bq query --use_legacy_sql=false "
INSERT INTO dataset1_${ENV}.tablename (col1, col2)
SELECT col1, col2 FROM `your-project-id.source_dataset.source_table`
"

切换环境时，只需修改export ENV="pd"即可自动替换表名后缀。

2. Python脚本（结合google-cloud-bigquery库） #

适合集成到应用程序或数据处理流水线中：

from google.cloud import bigquery
import os

# 从系统环境变量获取标识，默认用dev（dv）
env_tag = os.getenv("ENV_TAG", "dv")
client = bigquery.Client(project="your-project-id")

# 动态拼接目标表ID
target_table = f"your-project-id.dataset1_{env_tag}.tablename"

# 构造并执行INSERT语句
insert_sql = f"""
INSERT INTO `{target_table}` (col1, col2)
SELECT col1, col2 FROM `your-project-id.source_dataset.source_table`
"""

query_job = client.query(insert_sql)
query_job.result()  # 等待任务执行完成
print(f"数据已成功插入到 {target_table}")

运行前可以通过export ENV_TAG=pd设置生产环境标识，无需修改代码。

3. BigQuery存储过程（内部执行场景） #

如果需要在BigQuery内部重复执行跨环境插入操作，可以用存储过程动态生成SQL：

CREATE OR REPLACE PROCEDURE `your-project-id.dataset_common.insert_to_env_table`(env_tag STRING)
BEGIN
  DECLARE target_table STRING;
  SET target_table = CONCAT('dataset1_', env_tag, '.tablename');
  
  -- 动态执行INSERT语句
  EXECUTE IMMEDIATE format("""
    INSERT INTO `%s` (col1, col2)
    SELECT col1, col2 FROM `your-project-id.source_dataset.source_table`
  """, target_table);
END;

-- 调用存储过程：dev环境
CALL `your-project-id.dataset_common.insert_to_env_table`('dv');
-- 调用存储过程：prod环境
CALL `your-project-id.dataset_common.insert_to_env_table`('pd');

这种方式适合在BigQuery控制台或定时查询中使用，通过传入参数切换环境。

内容的提问来源于stack exchange，提问作者Ayush331