Airflow无法识别私有Python库的配置调整方法咨询

问题背景 #

在共享服务器环境下，每位用户拥有独立的Python解释器（如Anaconda 3.10），但服务器同时存在系统共享解释器（Python 3.8）。Airflow运行脚本时默认调用共享Python 3.8，导致安装在个人Anaconda环境的私有库无法被识别，触发ModuleNotFoundError。

sys.path对比 #

• Airflow执行脚本时的sys.path输出：

['/home/username/.local/bin', '/usr/lib/python38.zip', '/usr/lib/python3.8', '/usr/lib/python3.8/lib-dynload', '/home/username/.local/lib/python3.8/site-packages', '/usr/local/lib/python3.8/dist-packages', '/usr/lib/python3/dist-packages', '/home/username/airflow/dags', '/home/username/airflow/config', '/home/username/airflow/plugins']

• 终端使用个人解释器时的sys.path输出：

['', '/home/username/anaconda3/lib/python310.zip', '/home/username/anaconda3/lib/python3.10', '/home/username/anaconda3/lib/python3.10/lib-dynload', '/home/username/anaconda3/lib/python3.10/site-packages', '/home/username/anaconda3/lib/python3.10/site-packages/PyQt5_sip-12.11.0-py3.10-linux-x86_64.egg']

解决方案 #

1. 修改Airflow全局配置指定个人Python解释器

找到Airflow配置文件airflow.cfg，定位到[core]区块，修改python_command为你的个人Anaconda解释器路径：

[core]
python_command = /home/username/anaconda3/bin/python

修改完成后重启Airflow服务，使其加载新的解释器配置。

2. 在DAG脚本中手动添加私有库路径

若无法修改全局Airflow配置，可在DAG脚本开头直接将个人库路径插入sys.path：

import sys
# 优先加载个人Anaconda的site-packages目录
sys.path.insert(0, '/home/username/anaconda3/lib/python3.10/site-packages')

3. 使用VirtualenvOperator创建隔离环境

对于需要严格环境隔离的任务，可使用Airflow的VirtualenvOperator，指定个人Python解释器并安装依赖：

from airflow import DAG
from airflow.operators.python import VirtualenvOperator
from datetime import datetime

def execute_task():
    # 此处编写你的任务逻辑
    import your_private_lib
    your_private_lib.run_function()

with DAG(
    dag_id="private_lib_task",
    start_date=datetime(2024, 1, 1),
    schedule_interval=None,
) as dag:
    isolated_task = VirtualenvOperator(
        task_id="isolated_task",
        python_callable=execute_task,
        python_version="3.10",
        # 若私有库是本地包，可指定路径；若为PyPI包则直接写包名
        requirements=["/path/to/your/private/lib"],
        virtualenv_cmd="/home/username/anaconda3/bin/virtualenv",
        system_site_packages=False
    )

内容的提问来源于stack exchange，提问作者Ivan Anisimov