Django应用多进程安全使用及VS Code调试异常排查

问题原因分析 #

1. Debugpy与Django自动重载的冲突
   Django的autoreload模块会注册SIGTERM信号处理函数，当子进程启动时，debugpy会等待子进程调试就绪，该信号触发SystemExit导致子进程意外退出，进而引发父进程重复创建子进程的循环错误，最终出现Broken pipe和500请求错误。

2. Django上下文的多进程限制
   在Django运行环境中，模块的__name__始终不是"__main__"，无法使用标准的if __name__ == '__main__':代码块隔离子进程执行逻辑。Windows平台下multiprocessing的spawn启动方式会重新导入模块，若未做防护，可能导致重复执行初始化代码（如创建Pool、数据库连接），而debugpy的调试机制放大了这一问题。

3. 调试器附加子进程的干扰
   VS Code的debugpy默认会尝试附加到所有子进程，子进程在调试初始化过程中与父进程的Django上下文冲突，触发信号处理逻辑，导致进程异常退出。

VS Code调试环境解决办法 #

1. 禁用Django自动重载 #

运行开发服务器时添加--noreload参数，关闭自动重载功能，避免SIGTERM信号处理函数干扰子进程：

python manage.py runserver --noreload

2. 配置VS Code调试器忽略子进程 #

修改.vscode/launch.json，设置subProcess: false，让调试器只跟踪主进程，不附加到子进程：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Django",
            "type": "debugpy",
            "request": "launch",
            "program": "${workspaceFolder}/manage.py",
            "args": [
                "runserver"
            ],
            "django": true,
            "subProcess": false
        }
    ]
}

3. 显式指定多进程启动方式 #

在代码中指定使用spawn或forkserver启动方式，避免fork带来的资源复制问题，同时补充临时文件清理逻辑：

import os
import glob
from multiprocessing import Pool, cpu_count, get_context
from functools import partial
from portal.db_postgresql.connection import Connection

def copy_to_table(file_name: str, table_name: str, columns: list):
    # 子进程重新创建数据库连接，确保进程隔离
    connection_obj = Connection(get_current_db_name(), 1, 1)
    connection = connection_obj.connection()
    cursor = connection.cursor()
    with open(file_name, "r") as f:
        cursor.copy_from(f, table_name, sep=",", columns=columns, null="")
    connection.commit()
    connection.close()
    return file_name

def load_to_table(df_ops: PySparkOperations, table_name: str) -> dict:
    filepath = os.path.join("uploaded_files", table_name)
    df_ops.df.repartition(10).write.mode("overwrite").format("csv").option("header", "false").save(filepath)
    file_path_list = sorted(glob.glob(f"{filepath}/*.csv"))
    
    # 使用spawn启动方式（Windows强制，Linux推荐）
    with get_context("spawn").Pool(cpu_count()) as p:
        p.map(partial(copy_to_table, table_name=table_name, columns=df_ops.df.columns), file_path_list)
    
    # 清理临时CSV文件与目录
    for f in file_path_list:
        os.remove(f)
    os.rmdir(filepath)
    
    return df_ops.count

生产环境长期运行注意事项 #

• 避免在请求上下文内启动多进程：直接在Django视图/管理命令中启动多进程会导致请求阻塞、服务器资源占用过高，建议改用Celery等异步任务队列处理批量数据导入。
• 强制进程隔离的数据库连接：子进程必须重新创建数据库连接，绝对不能复用父进程的连接对象，当前代码中copy_to_table的实现符合要求，但需确保Connection类是进程安全的。
• Windows平台适配：Windows仅支持spawn启动方式，需确保代码中显式指定，避免隐式使用fork导致的模块重复加载问题。
• 资源监控与清理：生产环境中需添加临时文件的删除逻辑，同时监控进程资源占用，避免内存泄漏或磁盘空间耗尽。

内容的提问来源于stack exchange，提问作者Purushottam Nawale