Pgpool如何处理大量并发的相同SQL查询请求?
Pgpool对并发相同SQL查询的处理逻辑
默认行为
- 未开启特殊配置的情况下,Pgpool不会对相同的并发查询做去重、合并处理,所有请求会按照配置的负载均衡规则直接转发到后端PostgreSQL节点执行,每个请求都会占用独立的数据库连接和计算资源。
- 这种场景下如果出现大量相同只读请求并发,很容易导致后端数据库连接打满、CPU/IO使用率飙升,触发性能瓶颈。
开启查询合并后的行为
Pgpool 4.2及以上版本支持并发查询去重合并特性,主动开启后可以实现相同请求的复用逻辑:
- 当多个完全相同的只读SQL同时到达Pgpool时,Pgpool仅会转发第一个请求到后端数据库执行,后续的相同请求会进入等待队列,不会重复发往后端。
- 待第一个请求拿到返回结果后,Pgpool会将同一份结果响应给所有排队的相同请求,大幅降低后端数据库的压力。
注意:该特性仅符合以下条件的查询可以触发:
- 纯只读SQL,不涉及写操作
- 语句、查询参数完全一致,不包含
now()、random()等 volatile 函数- 查询涉及的表在缓存有效期内没有发生INSERT/UPDATE/DELETE/ALTER等修改操作
核心配置参考
要开启该功能需要修改Pgpool配置文件,核心参数如下:
cache_enable = on:开启查询缓存,是查询合并的前置依赖parallel_query_dedup_enable = on:开启并发查询去重合并能力cache_size = 1GB:设置查询缓存的内存空间,可根据业务查询规模调整cache_ttl = 300:设置缓存结果的有效期,单位为秒,避免长时间返回脏数据
内容的提问来源于stack exchange,提问作者Dean Chen
相关产品推荐
相关产品推荐

