在Airflow DAG中调用含REST endpoint的Python库出现连接超时，需额外配置吗？

• 检查网络权限限制
  如果你的Airflow是用Docker、K8s这类容器化方式部署的，先确认容器是否能访问外部网络：

  • Docker部署的话，检查容器使用的网络模式，默认bridge模式一般允许出站，但自定义网络可能需要配置规则；
  • K8s部署的话，查看是否有NetworkPolicy拦截了对目标REST端点的出站请求；
  • 另外检查Airflow部署所在主机的防火墙、安全组规则，确认没有封禁目标端点的端口（通常是80/443）。

• 配置代理（如果需要）
  如果部署环境必须通过代理才能访问外部网络，需要给Airflow配置代理信息：

  • 方式一：修改airflow.cfg配置文件，添加以下内容：

    [core]
    http_proxy = http://你的代理地址:端口
    https_proxy = https://你的代理地址:端口
    no_proxy = localhost,127.0.0.1,内部服务域名/IP
    

  • 方式二：在启动Airflow服务（webserver、scheduler、worker）时，设置环境变量HTTP_PROXY、HTTPS_PROXY、NO_PROXY，直接传递代理参数。

• 调整超时参数

  • 你的Python库可能默认超时时间过短，可以在调用库的接口时显式设置更长的超时值，比如：

    import your_py_lib
    # 示例：设置30秒超时
    result = your_py_lib.call_rest_endpoint(timeout=30)
    

  • 如果是Airflow任务层面的整体超时，可以给PythonOperator设置execution_timeout参数，但这是控制整个任务的运行时长，不是单独的API调用超时。

• 验证端点可达性
  直接在Airflow worker所在的容器或节点上，用curl命令测试目标端点是否能连通：

  curl -v https://目标端点域名/接口路径
  

  如果curl也超时，那问题出在网络层面，和Airflow或代码无关。

内容的提问来源于stack exchange，提问作者Varun Mahajan