如何在gevent中终止长时间运行正则解析的Greenlet？

由于re模块的核心实现是纯C代码，信号机制和gevent协程都无法打断它的执行流程，所以必须通过进程隔离的方式来实现强制超时控制。

方法一：用标准库multiprocessing实现进程级超时 #

import multiprocessing
import re

def _regex_worker(content, regex, result_queue):
    try:
        matches = re.findall(regex, content, re.IGNORECASE)
        result_queue.put(matches)
    except Exception:
        result_queue.put([])

def get_all_matches(self, content, the_regex, timeout=5):
    result_queue = multiprocessing.Queue()
    worker = multiprocessing.Process(
        target=_regex_worker,
        args=(content, the_regex, result_queue)
    )
    worker.start()
    worker.join(timeout)
    
    if worker.is_alive():
        worker.terminate()
        worker.join()
        return []
    else:
        return result_queue.get() if not result_queue.empty() else []

方法二：适配gevent环境的进程池方案 #

如果项目大量使用gevent协程，可改用gevent.multiprocessing替代标准库，避免阻塞事件循环：

from gevent import monkey
monkey.patch_all()
import gevent.multiprocessing as multiprocessing
import re

def _regex_worker(content, regex):
    try:
        return re.findall(regex, content, re.IGNORECASE)
    except Exception:
        return []

def get_all_matches(self, content, the_regex, timeout=5):
    pool = multiprocessing.Pool(1)
    result = pool.apply_async(_regex_worker, args=(content, the_regex))
    try:
        return result.get(timeout=timeout)
    except multiprocessing.TimeoutError:
        pool.terminate()
        return []
    finally:
        pool.close()
        pool.join()

原方案失效的原因 #

• 信号机制只能在Python解释器的原子指令间隙触发，而re.findall是纯C实现，执行期间不会给解释器处理信号的机会，超时信号会被延迟到正则执行完成后才触发。
• gevent协程基于单线程调度，同样无法打断C扩展模块的执行，协程切换依赖Python解释器的调度时机。

内容的提问来源于stack exchange，提问作者Gary