Python3迁移后gunicorn+gevent环境下自定义调度器多实例并行运行问题

• Gunicorn prefork模型的默认行为：Gunicorn采用prefork工作模式时，会先启动1个主管理进程完成项目初始化，再按照配置的worker数量fork出对应数量的工作子进程，你配置了2个worker，所以运行时会存在1个主进程+2个工作进程共3个独立进程，你描述的“3个线程并行执行”实际是3个进程各自运行了调度服务逻辑。由于你把调度服务的初始化和run()调用写在了项目顶层启动代码中，主进程初始化时会执行一次，fork生成子进程时主进程的完整内存状态会被复制到子进程，已经启动的调度服务也会被同步复制到子进程，子进程启动后自然也会运行run()方法，最终出现3次执行的问题。
• Python3+gevent monkey patch的行为差异：Python2原生环境下未做monkey patch时，fork生成子进程只会继承调用fork的那个线程，其余线程不会被继承，所以之前Python2环境下仅主进程的调度线程会运行，子进程不会继承该调度线程；而gevent的monkey patch会替换Python标准库的线程、进程、IO等底层实现，同时Python3对fork后子进程的线程状态处理逻辑和Python2存在差异，你在启动调度器线程之前就完成了monkey patch，导致fork时调度器的运行状态被完整复制到子进程，子进程启动后调度器会直接开始运行，和Python2环境的表现完全不同。
• 调度服务缺少单实例运行限制：你没有区分主进程和工作进程的执行逻辑，也没有添加进程锁、pid文件校验或者分布式锁等逻辑保证调度服务仅被单个进程执行，是问题出现的核心原因。

• 调整调度服务初始化时机：不要把调度服务的初始化逻辑写在项目顶层代码中，放到Gunicorn的post_fork钩子中执行，同时添加判断仅在指定worker（比如第一个worker）中初始化启动调度服务。
• 加锁保证单实例运行：在执行scheduler_service.run()前先尝试抢独占锁，可以用文件锁或者Redis分布式锁，只有抢到锁的进程可以运行调度服务，其余进程直接跳过调度逻辑。
• 进程身份判断过滤：添加逻辑判断当前进程身份，若检测到是Gunicorn主进程或者不需要运行调度的worker进程，直接跳过调度服务的初始化流程。

内容的提问来源于stack exchange，提问作者ANURAG RANJAN