如何配置CherryPy生成多进程以利用多CPU核心？含systemd疑问

我明白你的痛点——Python的GIL确实限制了多线程的性能提升，想要让CherryPy充分利用多核CPU，切换到多进程模式是非常合理的选择。下面我会一步步告诉你怎么实现，以及对应的systemd服务配置调整方法。

一、CherryPy多进程实现步骤 #

CherryPy本身没有直接提供一键开启多进程的配置项，但我们可以通过共享socket+手动fork进程的方式来实现，这样所有进程都会监听同一个端口，由操作系统负责请求的负载均衡。

1. 完整代码示例 #

import cherrypy
import os
import signal

# 定义你的WSGI应用
class Root:
    @cherrypy.expose
    def index(self):
        # 返回当前进程ID，方便验证多进程是否生效
        return f"Hello from process {os.getpid()}"

def run_multiprocess(num_workers=4):
    # 基础服务器配置
    cherrypy.config.update({
        'server.socket_host': '0.0.0.0',  # 允许外部访问
        'server.socket_port': 8080,       # 监听端口
        'server.thread_pool': 10,         # 每个进程的线程池大小，按需调整
        'engine.autoreload.on': False,    # 生产环境关闭自动重载
    })

    # 挂载你的应用到根路径
    cherrypy.tree.mount(Root(), '/')

    # 父进程先准备好socket，子进程共享这个socket
    server = cherrypy.server
    server.prepare()

    # 设置信号处理，确保收到终止信号时所有进程能优雅退出
    def signal_handler(signum, frame):
        cherrypy.engine.exit()

    signal.signal(signal.SIGINT, signal_handler)
    signal.signal(signal.SIGTERM, signal_handler)

    # 创建指定数量的子进程
    for _ in range(num_workers - 1):
        pid = os.fork()
        if pid == 0:
            # 子进程启动服务并阻塞运行
            server.start()
            cherrypy.engine.block()
            os._exit(0)  # 子进程退出时直接终止，避免触发额外逻辑

    # 父进程也启动服务并阻塞
    server.start()
    cherrypy.engine.block()

if __name__ == '__main__':
    # 这里设置工作进程数，建议等于CPU核心数或核心数+1
    run_multiprocess(num_workers=4)

2. 关键说明 #

• 共享socket：父进程先创建并绑定端口，子进程直接复用这个socket，避免多个进程绑定同一个端口的冲突。
• 进程管理：通过os.fork()创建子进程，每个子进程独立运行CherryPy服务，拥有自己的Python解释器，完全绕开GIL限制。
• 优雅退出：通过信号处理函数，确保收到SIGINT或SIGTERM时，所有进程能优雅停止服务。
• 验证方法：启动服务后，多次用curl http://localhost:8080访问，会看到返回的进程ID不同，说明多进程正在工作。

二、systemd服务配置调整 #

当你的CherryPy应用改为多进程模式后，systemd服务配置需要做一些适配，确保能正确管理所有进程。

1. 完整systemd服务文件示例（保存为/etc/systemd/system/cherrypy-app.service） #

[Unit]
Description=CherryPy Multiprocess Web Application
After=network.target  # 网络就绪后启动服务

[Service]
User=www-data         # 用非root用户运行，提高安全性
Group=www-data
WorkingDirectory=/path/to/your/app  # 应用所在目录
ExecStart=/path/to/your/python /path/to/your/app/main.py  # 启动命令，注意用虚拟环境的Python路径
Restart=always        # 服务意外退出时自动重启
RestartSec=5          # 重启间隔5秒
Type=simple           # 主进程不会fork后退出，用simple类型
KillMode=mixed        # 停止服务时，先终止主进程，再清理子进程
Environment="PYTHONPATH=/path/to/your/app"  # 设置Python路径（如果需要）
StandardOutput=journal+console  # 日志输出到systemd journal和控制台

[Install]
WantedBy=multi-user.target  # 系统启动时自动加载

2. 关键配置说明 #

• Type=simple：因为我们的主进程会一直运行（和子进程一起处理请求），不是fork后退出的守护进程，所以用simple类型，systemd会直接监控主进程。
• KillMode=mixed：默认的control-group模式可能不会清理子进程，mixed模式会先给主进程发终止信号，若子进程未退出，再强制杀死所有相关进程。
• 用户权限：务必用非root用户（比如www-data）运行服务，避免安全风险。
• 虚拟环境适配：如果你的应用用了虚拟环境，ExecStart里的Python路径要换成虚拟环境下的路径，比如/opt/venv/cherrypy/bin/python。

3. 常用systemd命令 #

# 重新加载systemd配置
sudo systemctl daemon-reload

# 启动服务
sudo systemctl start cherrypy-app

# 设置开机自启
sudo systemctl enable cherrypy-app

# 查看服务状态
sudo systemctl status cherrypy-app

# 查看日志
journalctl -u cherrypy-app -f

三、注意事项 #

• 进程间状态共享：多进程模式下，每个进程有独立的内存空间，不要用全局变量存储状态，如需共享数据，请用外部存储（比如Redis、数据库）。
• 工作进程数调整：建议设置为CPU核心数或核心数+1，过多的进程会导致上下文切换开销增加，反而降低性能。
• 生产环境优化：关闭CherryPy的自动重载（engine.autoreload.on: False），开启日志记录，配置反向代理（比如Nginx）作为前端，处理静态文件和请求转发。

内容的提问来源于stack exchange，提问作者Bob