GKE部署Airflow已装Airbyte Provider仍报模块找不到错误
airflow.providers.airbyte模块找不到的问题 针对你在GKE部署的Airflow中,已安装apache-airflow-providers-airbyte 3.2.0但导入模块报错的情况,可按以下步骤排查解决:
确认Airflow核心版本兼容性
apache-airflow-providers-airbyte 3.2.0要求Airflow核心版本≥2.3.0,若你的Airflow版本低于此,会因路径结构不匹配导致模块找不到。可通过Airflow UI的「About」页面查看核心版本,或进入Pod执行airflow version命令验证。验证依赖在全环境的安装状态
GKE上的Airflow通常包含webserver、scheduler、worker等多个Pod,需确保所有相关Pod都已安装该依赖。进入worker或scheduler Pod,执行pip show apache-airflow-providers-airbyte,确认依赖存在且版本正确。若使用Helm部署,需检查requirements.txt是否正确挂载到所有相关容器,避免仅webserver安装、worker未安装的情况。排查Python路径干扰
检查Pod是否设置了自定义PYTHONPATH,若该路径覆盖了Airflow默认的模块搜索路径,会导致无法找到provider模块。可进入Pod执行echo $PYTHONPATH查看配置,必要时调整环境变量。重启Airflow服务
依赖安装完成后,Airflow的scheduler或worker可能未重新加载模块。在GKE中重启scheduler、worker和webserver的Pod(可通过删除Pod让K8s自动重建),确保服务加载最新的Python环境。检查命名冲突
确认你的DAG目录中没有名为airflow或airbyte的文件/文件夹,这类命名会覆盖系统模块路径,引发导入错误。
内容的提问来源于stack exchange,提问作者IOIOIOIOIOIOI

