Airflow HttpSensor与SimpleHttpOperator未按预期工作问题排查

以下是针对问题的具体排查步骤和解决方案：

• 检查response_callable配置
  SimpleHttpOperator默认不会自动返回或打印API响应，必须通过response_callable指定响应处理逻辑，否则任务会返回None。添加该参数后，任务才会返回JSON数据并在日志中展示：

  from airflow.providers.http.operators.http import SimpleHttpOperator
  
  test_simplehttp = SimpleHttpOperator(
      task_id='test_simplehttp',
      http_conn_id='gorest_httpsensor_test',
      endpoint='posts',
      method='GET',
      response_callable=lambda response: response.json(),  # 核心配置
      dag=dag
  )
  

• 验证连接配置的拼接逻辑
  确认gorest_httpsensor_test连接的Host字段为https://gorest.co.in/public/v2/（末尾带斜杠），这样和endpointposts拼接后会生成正确的URLhttps://gorest.co.in/public/v2/posts。如果Host末尾无斜杠，拼接后的URL会出错，导致请求失败或返回空数据。

• 补充请求头配置（可选）
  在连接的Extra字段中添加{"headers": {"Content-Type": "application/json"}}，确保API返回JSON格式响应：

  {"headers": {"Content-Type": "application/json"}}
  

• 自定义响应处理函数调试
  若仍有问题，可自定义函数打印响应内容，直观排查API返回情况：

  def debug_response(response):
      print("原始响应内容:", response.text)
      return response.json()
  
  test_simplehttp = SimpleHttpOperator(
      task_id='test_simplehttp',
      http_conn_id='gorest_httpsensor_test',
      endpoint='posts',
      method='GET',
      response_callable=debug_response,
      dag=dag
  )
  

  执行测试命令后，日志会先打印原始响应文本，帮助确认API是否正常返回数据。

• 检查Http Provider版本兼容性
  运行pip show apache-airflow-providers-http查看插件版本，Airflow 2.3.0建议搭配3.2.0及以上版本的Http Provider，版本过低可能存在功能缺失。若版本不符，执行pip install --upgrade apache-airflow-providers-http升级。

内容的提问来源于stack exchange，提问作者Swaroop Govindaraj