运行数据注入Pipeline时遇GCP Datafusion 302错误，数据未恢复

错误日志详情 #

java.io.IOException: Failed to send message for program run program_run:default.test-to-gcs.-SNAPSHOT.workflow.DataPipelineWorkflow.3 to https://r-clouddatafusion:443/v3Internal/runtime/namespaces/default/apps/test-to-gcs/versions/-SNAPSHOT/workflows/DataPipelineWorkflow/runs/43-b80f-1-99-0ebf/topics/metrics6 Respond code: 302. Error: unknown error

排查步骤 #

• 检查内部通信与DNS解析
  确认Pipeline运行节点能否正确解析r-clouddatafusion主机名，排查是否存在DNS配置失效或解析错误。同时检查实例前端是否有负载均衡/反向代理配置了不必要的HTTPS重定向规则。
• 验证API端点与权限
  直接在运行节点上执行curl -v https://r-clouddatafusion:443/v3Internal/runtime/namespaces/default/apps/test-to-gcs/versions/-SNAPSHOT/workflows/DataPipelineWorkflow/runs/43-b80f-1-99-0ebf/topics/metrics6，查看重定向目标地址，判断是否存在路径拼写错误（比如-SNAPSHOT版本标识是否合法）。同时确认运行Pipeline的服务账号具备访问该metrics端点的IAM权限。
• 排查版本与配置问题
  检查当前Data Fusion版本是否存在metrics上报的已知bug，尝试升级至最新稳定版本。同时核对Pipeline workflow配置中metrics上报地址的硬编码内容，确认无配置错误。
• 数据恢复排查
  查看Pipeline完整运行日志，定位数据注入中断的具体阶段（源数据读取、处理、GCS写入）；检查GCS目标桶的写入权限与状态，确认是否有写入失败记录；若Pipeline支持断点续传，验证断点配置是否因metrics错误未正常触发。

内容的提问来源于stack exchange，提问作者Giuseppe Marino