Tarantool Cartridge内存高度碎片化求助：内存充足仍报错

问题背景 #

集群每个节点配备充足内存（总6.3GB），但频繁触发「Memory is highly fragmented」错误，仪表盘显示仅使用2.3-2.4GB。Slab信息显示quota利用率较低，但items和arena使用率接近或超过99%：

> box.slab.info()
---
- items_size: 1286313040
  items_used_ratio: 99.56%
  quota_size: 6500000768
  quota_used_ratio: 40.27%
  arena_used_ratio: 96.2%
  items_used: 1280601176
  quota_used: 2617245696
  arena_size: 2617245696
  arena_used: 2516986968
...

已尝试调整Vinyl内存缓存、修改memtx_min_tuple_size从16改为64，但比率无变化。需要解决：如何增大items和arena大小，或其他修复方案？

默认fragmentation_threshold_critical=0.85，理论上3GB使用量仍有剩余空间，比率计算公式：

items_used_ratio = items_used / items_size
quota_used_ratio = quota_used / quota_size
arena_used_ratio = arena_used / arena_size

补充slab统计信息：

box.slab.stats()
---
- - mem_free: 16400
    mem_used: 260224
    item_count: 4066
    item_size: 64
    slab_count: 17
    slab_size: 16384
  - mem_free: 6072
    mem_used: 10200
    item_count: 75
    item_size: 136
    slab_count: 1
    slab_size: 16384
  - mem_free: 16128
    mem_used: 52574976
    item_count: 365104
    item_size: 144
    slab_count: 3232
    slab_size: 16384
  - mem_free: 156216
    mem_used: 286979496
    item_count: 1888023
    item_size: 152
    slab_count: 17646
    slab_size: 16384
  - mem_free: 2943632
    mem_used: 423399040
    item_count: 2646244
    item_size: 160
    slab_count: 26201
    slab_size: 16384
  - mem_free: 913912
    mem_used: 405490008
    item_count: 2413631
    item_size: 168
    slab_count: 12445
    slab_size: 32768
  - mem_free: 862448
    mem_used: 288143152
    item_count: 1637177
    item_size: 176
    slab_count: 8850
    slab_size: 32768
  - mem_free: 484712
    mem_used: 170306168
    item_count: 925577
    item_size: 184
    slab_count: 5230
    slab_size: 32768
  - mem_free: 53680
    mem_used: 44456448
    item_count: 231544
    item_size: 192
    slab_count: 1363
    slab_size: 32768
  - mem_free: 33208
    mem_used: 13617000
    item_count: 68085
    item_size: 200
    slab_count: 418
    slab_size: 32768
  - mem_free: 25792
    mem_used: 6276816
    item_count: 30177
    item_size: 208
    slab_count: 193
    slab_size: 32768
  - mem_free: 22144
    mem_used: 2361744
    item_count: 10934
    item_size: 216
    slab_count: 73
    slab_size: 32768
  - mem_free: 27104
    mem_used: 887264
    item_count: 3961
    item_size: 224
    slab_count: 28
    slab_size: 32768
  - mem_free: 28504
    mem_used: 396024
    item_count: 1707
    item_size: 232
    slab_count: 13
    slab_size: 32768
  - mem_free: 29376
    mem_used: 166560
    item_count: 694
    item_size: 240
    slab_count: 6
    slab_size: 32768
  - mem_free: 5216
    mem_used: 92752
    item_count: 374
    item_size: 248
    slab_count: 3
    slab_size: 32768
  - mem_free: 11296
    mem_used: 54016
    item_count: 211
    item_size: 256
    slab_count: 2
    slab_size: 32768
  - mem_free: 19720
    mem_used: 12936
    item_count: 49
    item_size: 264
    slab_count: 1
    slab_size: 32768
  - mem_free: 26416
    mem_used: 692016
    item_count: 2218
    item_size: 312
    slab_count: 22
    slab_size: 32768
  - mem_free: 30000
    mem_used: 35424
    item_count: 108
    item_size: 328
    slab_count: 1
    slab_size: 65536
  - mem_free: 2816
    mem_used: 62608
    item_count: 182
    item_size: 344
    slab_count: 1
    slab_size: 65536
  - mem_free: 33024
    mem_used: 32400
    item_count: 90
    item_size: 360
    slab_count: 1
    slab_size: 65536
  - mem_free: 36472
    mem_used: 28952
    item_count: 77
    item_size: 376
    slab_count: 1
    slab_size: 65536
  - mem_free: 54448
    mem_used: 10976
    item_count: 28
    item_size: 392
    slab_count: 1
    slab_size: 65536
  - mem_free: 12688
    mem_used: 249008
    item_count: 394
    item_size: 632
    slab_count: 4
    slab_size: 65536
  - mem_free: 123328
    mem_used: 7632
    item_count: 6
    item_size: 1272
    slab_count: 1
    slab_size: 131072
  - mem_free: 259416
    mem_used: 2616
    item_count: 1
    item_size: 2616
    slab_count: 1
    slab_size: 262144
  - mem_free: 11962320
    mem_used: 870891520
    item_count: 53155
    item_size: 16384
    slab_count: 421
    slab_size: 2097152
...

问题分析 #

从slab统计可见，集群中存在大量连续的小item_size区间（64、136、144、152、160...264），每个区间占用独立的slab组。这种细粒度的item size分布会导致：

• 每个slab组只能存放固定大小的tuple，无法跨组共享空间
• 即使整体quota有大量剩余，单个slab组的arena/items空间耗尽后，无法从其他组调配资源，最终触发碎片化告警

修改memtx_min_tuple_size无效，是因为该参数仅影响最小分配单元，无法改变已存在的slab分组逻辑。

修复方案 #

1. 调整slab分配粒度（核心解决） #

Tarantool默认的memtx_slab_alloc_factor=1.05，该值越小，slab分组越细，碎片化越严重。需调大此参数减少slab组数量：

• 建议设置为1.1或1.2，需重启节点生效
• 配置方式：在box.cfg中添加memtx_slab_alloc_factor = 1.1，或在Cartridge节点配置中修改

2. 手动清理碎片化内存 #

若无法立即重启节点，可在低峰期执行box.slab.gc()触发slab垃圾回收，释放空闲slab块并合并到arena中。注意：该操作会短暂占用CPU资源。

3. 优化tuple大小分布 #

检查数据模型，尽量避免产生大量不同大小的tuple：

• 统一字符串字段长度，避免存储差异过大的字符串
• 对于可变长度字段，业务允许的情况下可考虑拆分或使用固定长度替代方案
• 避免频繁更新tuple导致大小变化（更新后tuple大小改变会被移至其他slab组，加剧碎片化）

4. 调整碎片化阈值（临时缓解） #

若上述方案暂未生效，可临时调高fragmentation_threshold_critical值避免频繁告警：

box.cfg{fragmentation_threshold_critical=0.95}

此为临时方案，无法从根本解决碎片化问题。

验证方法 #

修改配置后，观察box.slab.info()中的items_used_ratio和arena_used_ratio是否下降，同时检查告警是否减少。

内容的提问来源于stack exchange，提问作者the.Legend