gunicorn部署的Python dedupe去重应用CPU占满该如何优化

• 调整gunicorn worker配置
  你的业务属于CPU密集型场景，不能使用IO密集型服务的worker数规则，40核服务器配置-w 30会导致进程数远超合理阈值，再叠加dedupe默认会调用多核心运算的特性，直接打满CPU。建议将worker数调整为CPU核心数的0.2~0.5倍，例如设置-w 8，同时限制dedupe运算的核心数，在调用dedupe的训练、匹配方法时显式传入num_cores=2参数，避免单个worker占用过多CPU资源。
• 更换更适配的worker类型
  默认sync worker处理长耗时CPU任务时调度开销极高，建议切换为gthread worker，添加启动参数--worker-class gthread --threads 4，减少进程上下文切换带来的额外CPU损耗。
• 优化dedupe运算逻辑
  • 缓存训练好的模型，避免每次请求都重复执行训练步骤（训练是dedupe最消耗CPU的环节）
  • 优化阻塞规则，合理的阻塞规则可以将需要比对的记录对数量降低2~3个数量级，直接减少计算量
  • 90万条数据不要一次性全量匹配，提前按地域、时间前缀等字段分块，仅在同块内做去重匹配，大幅降低运算复杂度
• 增加资源熔断限制
  使用cgroup对每个gunicorn worker的CPU使用率做上限限制，避免单个异常任务占满核心；将--timeout参数调整为300~600，配合Flask中间件主动终止运行超时的任务，及时释放占用的CPU资源。
• 异步任务改造
  不要在同步接口中直接执行90万条数据的去重运算，新增Celery等任务队列组件，接口收到请求后将任务丢入后台队列异步执行，仅返回任务ID供查询进度，gunicorn worker只负责处理轻量的请求收发逻辑，不会出现CPU被批量运算任务占满的情况。

内容的提问来源于stack exchange，提问作者Eswar