如何在Airflow中调用Conda环境下的Python执行脚本？

优先推荐方案：直接调用虚拟环境内的Python二进制 #

这是生产环境最通用、最稳定的方案，完全规避非交互shell的配置问题：

• 首先确认你的虚拟环境Python二进制路径，示例为/users/me/opt/anaconda3/envs/env_of_choice/bin/python
• 直接在BashOperator中指定该路径执行脚本即可，代码示例：

t1 = BashOperator(
        task_id='testtask',
        depends_on_past=False,
        bash_command='/users/me/opt/anaconda3/envs/env_of_choice/bin/python /path to script/script.py',
        retries=0,
    )

你观测到的虚拟环境和base环境Python版本一致属于正常情况：如果创建环境的yml文件没有指定Python版本，conda会默认复用base环境的Python版本，但两个环境的第三方依赖完全隔离，可通过分别执行/users/me/opt/anaconda3/bin/python -m pip list和/users/me/opt/anaconda3/envs/env_of_choice/bin/python -m pip list验证差异，不影响正常使用。

备选方案：通过source conda配置文件实现非交互shell下的环境激活 #

如果你必须使用conda activate的方式激活环境，无需执行conda init，也不需要重启shell，只需在bash脚本开头加载conda的shell配置文件即可，bash脚本示例：

#!/bin/bash
# 下方路径替换为你的conda安装目录下的对应文件
source ~/opt/anaconda3/etc/profile.d/conda.sh
conda activate env
python /path to script/script.py

配置完成后直接用BashOperator调用该bash脚本即可正常运行。

可选方向误区澄清 #

• 无需调整环境配置：通过yml创建环境时如果未指定Python版本，默认继承base的Python版本属于预期行为，不是配置错误
• 不建议在DAG中手动设置conda相关环境变量：该做法兼容性差、维护成本高，不属于规范实现方案
• 无需降级conda版本：conda 4.10.1版本和当前问题无关联，你提到的Anaconda 3.9指的是基础环境的Python版本，和conda本身的版本属于两个完全不同的概念，降级不会解决当前问题，反而可能引入其他兼容性故障。

内容的提问来源于stack exchange，提问作者Henrietta Martingale