使用Python多进程导入多脚本遇NameError问题求助

你的问题根源在于multiprocessing创建的子进程与主进程是完全独立的内存空间，哪怕在子进程里用global声明变量，也只能作用于子进程自己的全局命名空间，主进程根本无法访问子进程中导入的模块，所以会出现NameError。

可行解决方案 #

方案一：改用线程池并行导入（推荐，无需修改模块）

线程属于同一个进程，共享全局内存空间，子线程中导入的模块会直接被主进程的命名空间捕获，主进程可以正常访问。使用concurrent.futures.ThreadPoolExecutor实现：

import concurrent.futures

# 定义导入函数
def import_tab1():
    global tab_1
    import tab_1

def import_tab2():
    global tab_2
    import tab_2

def import_tab3():
    global tab_3
    import tab_3

# 并行执行导入
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    executor.submit(import_tab1)
    executor.submit(import_tab2)
    executor.submit(import_tab3)

# 主代码可正常访问tab_1、tab_2、tab_3
# Main code below...

如果想简化代码，也可以用__import__直接更新全局命名空间：

import concurrent.futures

import_tasks = [
    lambda: globals().update({"tab_1": __import__("tab_1")}),
    lambda: globals().update({"tab_2": __import__("tab_2")}),
    lambda: globals().update({"tab_3": __import__("tab_3")}),
]

with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    for task in import_tasks:
        executor.submit(task)

# 主代码逻辑

方案二：子进程初始化后传递数据（适用于CPU密集型场景）

如果模块导入时的初始化是CPU密集型操作，GIL会限制线程的并行效率，可以让子进程完成初始化后，将需要的可序列化数据/对象传递给主进程（注意：模块本身无法跨进程传递，只能传递初始化后的结果）：

import multiprocessing

def init_tab1():
    import tab_1
    # 返回tab_1中初始化后的核心数据/对象
    return tab_1.init_data

def init_tab2():
    import tab_2
    return tab_2.init_data

def init_tab3():
    import tab_3
    return tab_3.init_data

# 用进程池执行初始化并获取结果
with multiprocessing.Pool(processes=3) as pool:
    tab1_data = pool.apply_async(init_tab1).get()
    tab2_data = pool.apply_async(init_tab2).get()
    tab3_data = pool.apply_async(init_tab3).get()

# 主代码直接使用传递过来的数据
# Main code below...

这个方案要求传递的数据必须是可序列化的（比如字典、列表、自定义可序列化对象），如果对象无法序列化，建议优先使用方案一。

内容的提问来源于stack exchange，提问作者Patrick