MySQL按优先级划分查询执行线程的方案可行性咨询

方案可行性结论 #

你的思路本质是数据库侧的查询优先级调度与资源隔离，属于非常成熟的性能优化方向，完全可以落地，且MySQL生态已有原生能力支撑，不需要从零自行实现。

MySQL生态对应支持的能力 #

• MySQL 8.0+ 原生资源组功能：完全匹配你设想的分组需求，可通过CREATE RESOURCE GROUP语句创建高、中、低三个优先级的资源组，分别配置组内最大线程数、绑定的CPU核心、线程调度优先级。不同资源组的执行完全隔离，低优先级组的请求占满组内资源后，只会阻塞同组查询，不会影响高优先级组的执行。
  给查询分配分组的操作也非常简单，在应用层执行对应查询前，先执行SET RESOURCE GROUP 对应组名即可指定该查询运行在目标资源组下。
• MySQL 5.7及以下版本替代方案：可以通过ProxySQL、MaxScale等数据库代理实现同类效果，给不同优先级的查询配置独立的连接池，分别限制最大连接数。低优先级查询的连接池配置较小的容量，即使被打满也不会占满整个数据库的连接/线程资源。
• 无需完全在应用层自行实现线程分组调度，数据库层/代理层的原生实现对上下文切换的管控、资源隔离的稳定性都远高于应用层自研方案。

落地注意事项 #

• 不要单独依赖innodb_thread_concurrency做限流，该参数是InnoDB层的进入队列阈值，本身不具备优先级隔离能力，搭配资源组功能使用效果更稳定。
• 优先级划分的耗时阈值不要完全写死，建议配合performance_schema的查询统计数据、慢查询日志动态调整，避免核心业务的偶发慢查询被错误划分到低优先级。
• 增删改操作统一划入高优先级的规则合理，但要注意拆分批量写入、大事务，避免单个大请求占满高优先级组的线程资源。
• 条件允许的情况下可以给不同资源组绑定独立的CPU核心，实现物理层面的资源隔离，进一步降低组间影响。

其他数据库的同类能力 #

• PostgreSQL可通过cgroup绑定+资源队列功能实现同等的查询优先级隔离。
• 分布式数据库如TiDB、OceanBase等均原生支持资源组/租户级别的资源隔离，可按照业务、查询优先级分配独立的CPU、内存、IO资源。

内容的提问来源于stack exchange，提问作者vinieth