使用runtime参数每分钟从S3迁移数据至BigQuery报错：缺少runtime参数

报错原因 #

你遇到的Missing argument for parameter runtime错误，核心问题是传输任务没有启用定时调度：
runtime参数是BigQuery定时传输任务自动注入的上下文变量，只有当任务按调度规则触发时，系统才会生成当前时间对应的runtime值。你设置了--schedule=None，相当于禁用了定时调度，任务没有runtime上下文，自然找不到这个参数。而你要实现每分钟迁移，恰恰需要正确配置调度规则，而非设为None。

修正后的配置命令 #

bq mk \
--transfer_config \
--project_id=$project_id \
--data_source=amazon_s3 \
--display_name=s3_tranfer \
--target_dataset=$ds \
--schedule="* * * * *" \
--params='{
  "destination_table_name_template": "'$ds'_${runtime|"%M"}",
  "data_path": "s3://bucket/test/${runtime|"%M"}/*",
  "access_key_id": "***",
  "secret_access_key": "***",
  "file_format": "JSON"
}'

关键修改点 #

1. 启用分钟级调度：
   将--schedule=None替换为cron表达式* * * * *，表示每分钟触发一次迁移任务。此时BigQuery会自动为每次任务注入runtime参数，填充当前时间的分钟值。
2. 修正表名模板（可选但推荐）：
   在destination_table_name_template中加入_${runtime|"%M"}后缀，避免每次迁移覆盖同一张表，方便按分钟区分数据版本。
3. 调整shell变量拼接：
   确保$ds变量在单引号外部拼接，这样shell会正确替换为你的数据集名称；${runtime|"%M"}保持在JSON字符串内，由BigQuery传输服务解析。

额外注意事项 #

• 确认S3存储桶中test/[分钟值]/格式的文件夹确实存在，否则任务会因找不到数据而失败。
• 检查BigQuery传输服务账户的权限：需要具备S3桶的读取权限，以及BigQuery数据集的写入权限。

内容的提问来源于stack exchange，提问作者yonatan gershon