如何让Airflow调度器无需重启即可动态加载自定义模块？

我完全懂你的困扰——Airflow对DAG和插件的热加载做得很到位，但自定义模块一旦被调度器加载到内存里，就算绑定挂载的源码改了，它也死活不肯读新代码，重启又太影响运行中的任务，确实头疼。

先说说你之前尝试的方法为什么没生效：

• 配置PYTHONPATH只是帮Python找到模块的路径，但没法让已经加载到内存里的模块重新刷新；
• 用pip install -e做可编辑安装，本质是让包的安装路径指向你的源码目录，但Python的模块缓存机制还是会保留已加载的旧版本，不会自动触发重新加载。

下面给你几个实用的解决方案，按场景分：

一、开发阶段：在代码里主动触发模块重载 #

适合你本地调试的时候用，每次运行任务或解析DAG时强制重新加载自定义模块：

方法1：用importlib.reload() #

在你需要用到custom_module的地方，先执行重载操作：

import importlib
import custom_module

# 在使用模块前强制重新加载
importlib.reload(custom_module)

# 之后再使用模块里的内容
from custom_module import your_function

注意：这个操作会重新执行模块的顶层代码，如果模块里有全局变量或初始化逻辑，可能会有副作用，开发阶段用没问题，生产环境要谨慎。

方法2：删除sys.modules缓存后重新导入 #

比reload更彻底，适合模块结构有较大变动的情况：

import sys

# 先移除已加载的模块缓存
if 'custom_module' in sys.modules:
    del sys.modules['custom_module']

# 重新导入模块
from custom_module import your_function

同样，要注意模块里的全局状态，频繁这么做可能会有性能损耗，开发场景优先用。

二、生产环境：更优雅的热加载方案 #

如果要在生产环境实现无需重启的动态加载，得结合Airflow的调度机制和Python的特性：

方法1：把自定义模块封装成Airflow插件 #

Airflow会定期扫描plugins目录并自动加载更新，你可以把custom_module的代码放到plugins目录下，调整结构为：

airflow_home/
|-- dags/
|-- plugins/
    |-- custom_module/
        |-- __init__.py
        |-- your_code.py

然后在plugins/custom_module/__init__.py里添加插件声明（哪怕只是空的插件类），这样Airflow的调度器会定期检测plugins目录的变化，自动加载更新后的模块。

方法2：利用Airflow的任务执行隔离 #

Airflow的任务是在Worker进程中执行的，而调度器主要负责解析DAG和调度任务。如果你的自定义模块是在任务函数里使用的，可以让Worker进程每次执行任务时重新加载模块——Worker进程每次执行完任务会退出（默认配置下），下次执行任务会重新导入模块，自然就能读到最新代码。

你可以确认下Airflow的worker_autoscale和max_tasks_per_child配置，确保Worker执行完任务后会重启，这样每次任务都会重新加载模块。

方法3：文件变化触发的轻量重启（折中方案） #

如果上面的方法都不适用，你可以在Docker容器里加一个文件监控工具，比如inotifywait，当custom_module目录下的文件变化时，自动重启Airflow调度器进程（不是整个容器，只是调度器进程）。比如在Docker启动脚本里加：

# 后台启动调度器
airflow scheduler &

# 监控custom_module目录变化，变化就重启调度器
while true; do
    inotifywait -r -e modify,create,delete /opt/airflow/custom_module
    pkill -f "airflow scheduler"
    airflow scheduler &
done

这个方法需要在容器里安装inotify-tools，虽然会重启调度器，但重启速度很快，对运行中的任务影响很小（因为任务是在Worker里执行的，调度器重启只是暂时停止调度新任务）。

总结 #

• 开发阶段优先用importlib.reload()或删除sys.modules的方法，简单直接；
• 生产环境推荐把模块改成Airflow插件，或者利用Worker的进程隔离特性；
• 实在不行就用文件监控触发调度器轻量重启，折中解决问题。

备注：内容来源于stack exchange，提问作者Archi