Boost.Asio中如何为高优先级业务预留专属执行线程
低改动成本的专属高优先级HTTP连接实现方案
你之前尝试方案的问题根源
make_strand导致全任务串行,并不是机制本身的缺陷,而是你把所有连接、所有请求的任务都绑定到了同一个全局strand上,自然会变成全队列串行。strand的设计目标本来就是仅保证需要互斥的操作串行,不同strand之间的任务是完全并发执行的- 多
io_context方案维护成本高,本质是要单独维护每个独立io_context对应的线程绑定、连接生命周期、异常处理逻辑,对现有已跑通的基础功能侵入性太强,完全没必要为了这个需求增加这么多开发、维护负担
可直接落地的实现逻辑(复用现有架构几乎零额外维护成本)
核心思路就是在原有连接池的逻辑上给连接做固定优先级分层,全程沿用你现在已经跑通的单io_context模型:
- 连接初始化阶段就固定优先级标签,不做动态调度
- 按照需求预先分配固定数量的连接,比如总共有2条连接:启动时直接把第一条标记为高优先级专属连接,第二条标记为普通业务连接
- 连接的标签在运行全程是固定的,不会随队列长度、连接使用率动态变更,从根源上保证高优连接永远有专属预留能力
- 请求发送时的路由做硬隔离
- 所有高优先级请求,只允许往高优先级专属连接的发送队列投递,不管这条连接当时是空闲状态还是正在传输其他高优数据
- 所有普通业务请求,只允许往普通业务连接的队列投递,哪怕普通连接已经堵满了,也绝对不允许借用高优专属连接的空闲带宽
- 事件调度层沿用现有逻辑做并发保障
- 每个连接单独绑定自己的strand,用来保证单连接内部的读写操作不会出现竞态——这部分和你现在的单连接实现逻辑完全一致
- 所有连接的事件全部投递到你现有正在使用的
io_context中调度,不同连接的事件是完全并发执行的,不会互相阻塞,完全满足并发要求 - 不需要额外创建新的
io_context实例,线程模型和你现在运行的基础功能完全一致,不会新增额外的维护节点
落地时的注意细节
- 高优专属连接的空闲超时时间要设置得比普通连接长,甚至可以设为不超时,避免因为长期没有高优流量被连接池自动回收,失去预留能力
- 不要为了“不浪费闲置资源”把空闲的高优连接临时拿来跑普通任务,一旦高优请求进来时,高优连接正在传输大体积的普通报文,就会导致高优请求排队等待,完全失去专属连接的设计意义
- 如果后续业务量上涨需要扩容普通连接数量,直接在普通连接的分组里新增连接即可,不要改动已经预留的高优专属连接,不需要调整整体的线程池和事件循环配置
内容的提问来源于stack exchange,提问作者rahul
相关产品推荐
相关产品推荐

