多进程场景下如何正确替换同名不同路径的动态导入模块？

我正在编写一款自动批改（超100份）作业的工具，每份作业为包含solve_exercise函数的solve.py文件，存储在独立目录中。批改时调用该函数验证结果，完成一份后需切换至下一份，因此需要多次导入同名的solve模块，但每次模块均来自不同路径，且旧实现需被丢弃。为提升效率，我采用了多进程方案。

目前我编写了如下代码，测试看似可用，但不确定该实现是否规范，是否会产生意外副作用，或是重复使用同一solve模块实现。（代码已精简至核心相关部分）

def grade_submission(submission_dirpath : str, submission_identifier : str):
    submission_solve_module_filepath = os.path.join(submission_dirpath, "solve.py")

    # Import solve module
    submission_solve_module_spec = importlib.util.spec_from_file_location("solve", submission_solve_module_filepath)
    submission_solve_module = importlib.util.module_from_spec(submission_solve_module_spec)
    sys.modules["solve"] = submission_solve_module
    submission_solve_module_spec.loader.exec_module(submission_solve_module)
    
    # Grade submission using imported solve module...

if __name__ == "__main__":
    # Parse command line arguments
    argparser = argparse.ArgumentParser(description="")
    argparser.add_argument("sdp", type=str, help="Path to directory that contains all submission directories.")
    args = argparser.parse_args()

    # Get subdirectories in submissions directory
    dir_path, subdir_names, _ = next(os.walk(args.sdp))

    # Construct list of argument tuples corresponding to submissions (i.e., the grade_submission function should be called once for each of these tuples)
    submission_arguments = []
    for subdir_name in subdir_names:
        # Create path to submission subdirectory
        subdir_path = os.path.join(dir_path, subdir_name)
        submission_arguments.append((subdir_path, subdir_name))

    # Parallelize grading
    with multiprocessing.Pool() as pool:
        pool.starmap(grade_submission, submission_arguments)
        pool.close()
        pool.join()

请问在多进程处理每份作业时，这种替换导入solve模块的方式是否恰当？

你的实现是恰当且安全的，核心原因如下：

1. 多进程的天然隔离性
   每个进程拥有独立的Python解释器实例和内存空间，sys.modules是进程内的全局变量，修改它只会影响当前进程，完全不会干扰其他进程的模块导入逻辑。不同进程中的solve模块是各自独立的，不会出现互相覆盖或复用旧实现的问题。

2. 动态导入方式的合理性
   使用importlib.util.spec_from_file_location和module_from_spec直接从指定文件导入模块，是Python官方推荐的动态加载不同路径下同名模块的标准方式。你手动将新模块注册到sys.modules["solve"]，能避免后续如果有其他代码尝试import solve时导入旧模块的问题，这一步是必要且正确的。

3. 无残留副作用的保障
   每个进程仅处理一份作业，处理完成后要么被销毁，要么放回进程池等待下一次任务。即使是进程池中的复用进程，下次处理新作业时也会重新执行grade_submission函数，再次导入新的solve模块覆盖之前的，不会出现模块残留导致的副作用。

可选优化点 #

当前实现已经满足需求，不过有两个小细节可以优化：

• 无需手动调用pool.close()和pool.join()，with multiprocessing.Pool()上下文管理器会自动完成这些清理操作。
• 如果担心进程池复用进程时sys.modules["solve"]存在旧模块，可以在grade_submission函数末尾添加del sys.modules["solve"]，不过这不是必须的，因为下次导入会直接覆盖旧模块。

内容的提问来源于stack exchange，提问作者MM45