Airflow中Databricks连接类型未显示问题求助

以下是针对性的排查和解决步骤：

• 确认包已正确安装到所有相关容器
  Docker部署的Airflow包含webserver、scheduler等多个核心容器，仅在webserver容器安装provider可能无效。

  1. 进入webserver容器执行检查：docker exec -it <airflow-webserver容器名> bash，然后运行pip list | grep apache-airflow-providers-databricks，确认包已安装且版本正确。
  2. 同样进入scheduler容器执行上述命令，确保provider在所有核心容器中都已安装。

• 验证Airflow与Provider版本兼容性
  不同Airflow版本对Databricks Provider有明确版本要求，比如：

  • Airflow 2.3.x 对应 3.x.x 版本的Databricks Provider
  • Airflow 2.4.x 对应 3.3.x+ 版本
  • Airflow 2.5+ 对应 4.x.x+ 版本
    若版本不兼容，Provider不会被Airflow加载，需卸载当前包后安装兼容版本：pip install apache-airflow-providers-databricks==<兼容版本号>

• 检查Provider是否被Airflow识别
  在容器内执行airflow providers list | grep databricks，若结果为空，说明Provider未被正确识别，需排查安装过程或版本兼容性问题。

• 重启所有Airflow容器
  仅重启webserver可能无法刷新Provider缓存，需重启整个集群：

  docker-compose down && docker-compose up -d
  

• 排查容器日志中的加载错误
  查看webserver和scheduler日志，搜索databricks、provider、import error等关键词，定位是否存在依赖缺失或导入失败：

  • 查看webserver日志：docker logs <airflow-webserver容器名>
  • 查看scheduler日志：docker logs <airflow-scheduler容器名>

• 确保Provider安装方式持久化
  若之前是进入容器临时安装，容器重启后包会丢失，需通过持久化方式安装：

  1. 在requirements.txt中添加apache-airflow-providers-databricks==<兼容版本号>
  2. 重新构建镜像并启动：docker-compose build --no-cache && docker-compose up -d
     或在docker-compose.yml中添加环境变量：_PIP_ADDITIONAL_REQUIREMENTS: "apache-airflow-providers-databricks==<兼容版本号>"，启动时自动安装。

内容的提问来源于stack exchange，提问作者kalpana haryani