Google Cloud Platform Dataflow无法加载或宕机,如何完成对应实验任务?
GCP Dataflow宕机场景下实验完成方案
- 第一步先确认故障范围,运行
gcloud dataflow jobs list --region <实验指定区域>命令:- 若能正常返回作业列表,说明仅Dataflow控制台前端加载故障,后端服务正常,不需要等待前端恢复
- 若返回服务不可用报错,说明对应区域Dataflow后端服务宕机
- 无需等待服务恢复的实验完成路径:
- 先完成BigQuery侧逻辑:直接在BigQuery控制台运行实验要求的查询语句,验证查询结果符合预期
- 若必须运行Dataflow作业:改用gcloud命令行提交作业,不受控制台故障影响,命令模板如下:
gcloud dataflow jobs run <自定义作业名> --gcs-location <实验指定的Dataflow模板GCS路径> --region <实验区域> --parameters inputQuery="<你的BigQuery查询语句>",outputTable=<目标输出表完整ID>
提交后运行gcloud dataflow jobs describe <返回的作业ID> --region <区域>查看运行状态,作业运行完成后取输出表数据制作要求的图表即可 - 若Dataflow后端服务完全不可用:直接用BigQuery查询的结果制作对应图表,实验报告中附上
gcloud dataflow service-health list --region <区域>的服务异常凭证,附上你预先编写的Dataflow作业配置参数即可,完整覆盖实验要求的逻辑链路
内容的提问来源于stack exchange,提问作者Shivam Sharma
相关产品推荐
相关产品推荐

