如何使用Data Fusion通过HTTP POST发送文件并配置为流水线完成告警

500错误根因 #

接口返回500通常是请求格式与目标端点要求不匹配，绝大多数接收文件的HTTP接口要求multipart/form-data类型的请求，默认HTTP Sink的JSON格式请求会触发服务端解析异常。

具体配置步骤 #

• 步骤1：预处理文件路径
  先在流水线中新增字段传递逻辑，将待发送文件的完整可访问路径（如GCS路径、节点本地路径）作为单个字段输出到HTTP Sink节点。
• 步骤2：配置HTTP Sink基础参数
  进入HTTP Sink配置页，填写核心参数：
  • URL：填写目标HTTP端点地址
  • 请求方法：选择POST
  • 请求格式：选择multipart/form-data，请勿手动配置Content-Type请求头，插件会自动生成带boundary的合法请求头
  • 鉴权头：如果接口需要身份校验，在Headers配置项中按键值对添加对应鉴权参数即可
• 步骤3：配置文件上传字段
  找到Multipart Fields配置模块，新增表单字段：
  • 字段名：填写目标接口定义的接收文件的参数名，常见值为file、upload
  • 字段类型：选择FILE
  • 字段值：关联步骤1中传递的文件路径字段
    若接口要求额外的表单参数，可新增类型为TEXT的字段逐一配置即可。
• 步骤4：绑定流水线完成触发规则
  若需该HTTP请求作为流水线运行完成的告警通知，可选择两种配置方式：
  • 流水线编排模式：将HTTP Sink的上游依赖设置为所有核心处理节点，确保全部任务执行完成后才触发HTTP调用
  • 运行后动作模式：将HTTP请求绑定到流水线的Post-run Action模块，该模式和核心数据处理逻辑完全解耦，更适合告警通知场景
• 步骤5：测试校验
  运行测试流水线，若仍返回错误，可开启HTTP Sink的请求日志打印开关，核对请求参数与接口要求是否一致。

内容的提问来源于stack exchange，提问作者aruna j