如何将Shell命令行参数传递给BigQuery执行的SQL文件？

我来帮你分析下问题所在，以及解决办法——你遇到的Unexpected macro错误，核心原因是Shell并没有帮你替换SQL文件里的$dataset变量，直接把带$的原内容传给了BigQuery，而BigQuery把$开头的语法当成了它自己的宏语法，但你的写法不符合规则，所以报错了。

问题根源拆解 #

当你用bq query --flagfile=./test/ddl_table.sql时，bq工具会直接读取SQL文件的原始内容发送给BigQuery，你的Shell脚本里的$dataset变量完全没被替换——Shell只会处理命令行里的变量，不会自动解析--flagfile指向的文件内容。所以BigQuery看到$dataset，就会把它当成一个宏，但它的语法要求宏是${name}或者@name格式，自然就报了非法宏的错误。

可行的解决方案 #

方案1：用Shell Here Document传递处理后的SQL（最简洁） #

把SQL内容直接写在Shell脚本里，用Here Document让Shell先替换变量，再通过管道传给bq query，这样就绕开了静态SQL文件的问题：

# 替换原来的bq query --flagfile那一行
cat <<EOF | bq query --use_legacy_sql=false
CREATE TABLE $dataset.my_table (
metric_sk INT64,
metric_identifier STRING ,
metric_name STRING ,
metric_def STRING ,
metric_type_id INT64
);
EOF

这里Shell会先把$dataset替换成你通过-d传入的值，再把完整的SQL语句传给BigQuery执行，完美解决变量传递问题。

方案2：动态替换SQL文件内容生成临时文件 #

如果你想保留单独的SQL文件（比如SQL比较长，维护方便），可以用sed先替换SQL里的占位符，生成临时SQL文件后再执行：

# 替换SQL文件里的$dataset为实际参数值，生成临时文件
sed "s/\$dataset/$dataset/g" ./test/ddl_table.sql > ./test/temp_ddl_table.sql
# 执行临时SQL文件
bq query --use_legacy_sql=false --flagfile=./test/temp_ddl_table.sql
# 执行完成后删除临时文件（可选，看需求）
rm ./test/temp_ddl_table.sql

注意这里sed里的\$dataset要转义$，避免Shell把它当成变量处理。

方案3：用BigQuery脚本宏（适合复杂场景） #

如果你的SQL逻辑更复杂，也可以用BigQuery的脚本宏语法，结合Shell传递参数：

1. 修改你的ddl_table.sql，用BigQuery的宏占位符：

DECLARE dataset_name STRING DEFAULT '@dataset';
CREATE TABLE `\${dataset_name}.my_table` (
metric_sk INT64,
metric_identifier STRING ,
metric_name STRING ,
metric_def STRING ,
metric_type_id INT64
);

2. 在Shell脚本里用bq query的--parameter传递参数：

bq query --use_legacy_sql=false --parameter=dataset:$dataset --script=./test/ddl_table.sql

不过这种方式需要注意标识符要加反引号包裹，并且宏的写法要符合BigQuery脚本规范，适合更复杂的参数传递场景。

额外提醒 #

记得给bq query加上--use_legacy_sql=false参数，BigQuery现在推荐使用标准SQL，避免因为SQL语法兼容问题出现其他错误。

备注：内容来源于stack exchange，提问作者Joe