Python 3.10中process.join(timeout=x)超时失效问题求助

核心问题根源 #

你当前代码的致命错误是创建multiprocessing.Process时，直接调用了OpenPDF函数，而非传递函数对象。这会导致OpenPDF在主进程中立即执行，完全没有启动子进程。后续的start()、join(timeout)等操作根本无法生效，挂起的是主进程，自然超时逻辑失效。

此外，process.is_alive是方法调用，需要加括号process.is_alive()，否则会永远返回True，导致误判进程状态。

修正后的代码 #

import multiprocessing

def OpenPDF(file_name, search_string, log_file):
    # 你的PDF处理逻辑（比如PyPDF文本提取）
    from PyPDF2 import PdfReader
    reader = PdfReader(file_name)
    for idx, page in enumerate(reader.pages):
        print(f"Processing page {idx+1}...")
        text = page.extract_text()
        # 关键词搜索逻辑
        if search_string in text:
            # 写入日志等操作
            pass

if __name__=='__main__':
    FileName = "problem.pdf"
    chSearchString = "target_keyword"
    LogFile = "search_log.txt"
    chNewLine = "\n"
    
    # 正确传递目标函数与参数
    process = multiprocessing.Process(
        target=OpenPDF,
        args=(FileName, chSearchString, LogFile)
    )
    process.daemon = True
    process.start()
    
    # 等待5秒超时
    process.join(timeout=5)
    
    # 正确调用is_alive方法
    if process.is_alive():
        print(f"OpenPDF hung on file {FileName}{chNewLine}")
        # 强制终止子进程
        process.terminate()
        # 确保进程彻底退出
        process.join()
        print(f"OpenPDF Terminated after timeout on {FileName}{chNewLine}")

额外注意事项 #

1. Windows系统多进程特性：Windows没有fork机制，必须确保所有子进程执行的代码在if __name__ == '__main__'块之外，避免重复导入导致的异常。
2. os._exit(0)无效的原因：如果OpenPDF在extract_text()处挂起，根本执行不到函数末尾的os._exit(0)，所以这行代码对解决挂起问题无帮助。
3. 更强制的进程终止：如果terminate()无法杀死挂起的进程，可以尝试process.kill()，它会发送更直接的终止信号。

替代优化方案 #

• 使用ProcessPoolExecutor简化逻辑：

from concurrent.futures import ProcessPoolExecutor, TimeoutError

if __name__ == '__main__':
    with ProcessPoolExecutor(max_workers=1) as executor:
        future = executor.submit(OpenPDF, FileName, chSearchString, LogFile)
        try:
            future.result(timeout=5)
        except TimeoutError:
            print(f"OpenPDF hung on file {FileName}{chNewLine}")
            future.cancel()
            print(f"OpenPDF Terminated after timeout on {FileName}{chNewLine}")

• 替换PDF处理库：PyPDF的extract_text()对部分畸形PDF兼容性较差，可尝试使用PyMuPDF（fitz），它的文本提取更稳定，对异常PDF的容错性更强。

内容的提问来源于stack exchange，提问作者William McMillan