如何解决多线程访问spdk_mempool_create()创建的内存池的锁竞争性能问题

针对大量IO线程访问SPDK内存池时的锁竞争问题，以下是几个平衡性能与内存成本的优化方案：

1. 启用Per-Thread本地缓存 #

SPDK内存池原生支持线程本地缓存特性，通过spdk_mempool_set_cache_size()为每个线程配置少量本地缓存块。线程申请/释放内存时优先操作本地缓存，仅当缓存耗尽（申请）或填满（释放）时才会触发全局内存池的锁操作，能大幅降低锁竞争频率。

• 配置示例：spdk_mempool_set_cache_size(mempool, 32); （32为单线程缓存块数，可根据IO请求并发量调整，避免过大浪费内存）

2. 内存池分片（Sharded Mempool） #

无需为每个线程单独创建内存池，而是将全局内存池拆分为多个分片（数量建议等于CPU核心数或IO线程数的1/2~1倍），每个分片对应独立的锁。线程通过自身CPU亲和性或线程ID哈希绑定到对应分片，优先访问本地分片，仅在本地分片耗尽时才跨分片申请。

• 实现思路：创建多个spdk_mempool实例，线程通过pthread_self()或sched_getcpu()计算哈希值，定向访问对应分片，锁竞争粒度从全局降至分片级别，总内存占用与原全局池基本一致。

3. 批量申请/释放内存 #

利用IO线程的批量处理特性，改用spdk_mempool_get_multi()和spdk_mempool_put_multi()批量操作内存块。比如单次批量申请16~64个块，存储到线程本地临时队列，按需取用后再批量释放，将锁操作次数降低为原来的1/N，直接缓解锁竞争压力。

4. 优化锁类型与配置 #

SPDK内存池支持自定义锁策略，可替换默认锁为更适合高并发场景的实现：

• 若线程均已绑核，可尝试启用SPDK_MEMPOOL_OP_CPU_ONLY模式，减少跨核锁竞争的开销；
• 替换普通自旋锁为MCS队列锁（SPDK内置支持），降低高并发下锁等待的CPU空耗，减少线程间的竞争冲突。

5. 预分配与回收策略调优 #

提前通过spdk_mempool_create()预分配足够的内存块，避免运行时动态扩容带来的额外锁竞争；同时调整线程本地缓存的回收阈值，比如当缓存占用超过80%时再批量回收至全局池，减少全局锁的触发频率。

你提到的单线程独立内存池方案虽能彻底解决锁竞争，但内存成本过高，上述方案均在保证性能的前提下控制内存开销，适合IO密集型场景的优化需求。

内容的提问来源于stack exchange，提问作者Janos