Db2 PureScale备份并行度日志合理性及缓冲区调整影响咨询

一、备份效率合理性分析 #

先看你提供的备份并行度日志：

Parallelism       = 5
Number of buffers = 10
Buffer size       = 16781312 (4097 4kB pages)
                                                                               Compr 
BM#    Total      I/O      Compr     MsgQ      WaitQ      Buffers   MBytes    MBytes 
---  --------  --------  --------  --------  --------    --------  --------  --------
000  52736.16  20487.24  17436.32      0.55    114.75       11508   1657254    833027       109
001  52736.15      0.00    151.29      0.00  45607.78         152         0      4833         0
002  52609.05   2337.31    372.99      0.00  43056.98         162    270010      8324         1
003  52618.25      5.46    180.66      0.00  45596.61          54       624      1922         0
004  52608.91      0.00    151.92      0.00  45607.77         159         0      5200         0
---  --------  --------  --------  --------  --------    --------  --------  --------
TOT  263308.54  22830.02  18293.20      0.56  179983.91       12035   1927888    853308

MC#    Total      I/O                MsgQ      WaitQ      Buffers   MBytes 
---  --------  --------            --------  --------    --------  --------
000  52736.23    903.91            51831.78      0.00       12036    192591
---  --------  --------            --------  --------    --------  --------
TOT  52736.23    903.91            51831.78      0.00       12036    192591

从日志和你的描述来看，当前备份效率不合理，核心问题如下：

• 并行度未有效利用：设置了5个并行备份代理（BM#000-004），但仅BM#000有大量I/O操作，其余4个代理的WaitQ时间长达4万秒以上，I/O时间几乎为0，说明这些代理一直在等待资源，完全没发挥并行作用，资源严重浪费。
• 备份速度偏低：15TB全量备份耗时15小时，换算下来仅约1TB/小时；增量备份8小时，速度同样远低于Db2 PureScale的正常水平（通常全量备份可达到200-500GB/小时甚至更高，取决于硬件与存储配置）。
• 媒体代理瓶颈：MC（媒体代理）的MsgQ时间超过5万秒，说明媒体代理一直在等待备份代理传输数据，备份代理的数据产出能力不足，拖慢了整体流程。

二、增加缓冲区数量的影响 #

正面影响 #

• 减少I/O等待：更多缓冲区可以让备份代理暂存更多读取到的数据，减少磁盘I/O的等待次数，让I/O操作更连续，尤其当存储系统存在延迟时效果更明显。
• 激活并行能力：当前并行代理闲置的原因之一可能是缓冲区不足，增加缓冲区后，多个备份代理可以同时读取数据，减少WaitQ时间，真正发挥并行度的作用。
• 缓解媒体代理瓶颈：充足的缓冲区能让备份代理更快地向媒体代理传输数据，缩短媒体代理的MsgQ等待时间，提升整体备份吞吐量。

负面影响 #

• 内存占用增加：每个缓冲区大小为16MB（16781312字节），当前10个缓冲区占用约160MB。若增加到30个，内存占用会提升至约480MB。需注意：备份缓冲区的内存属于备份进程，不会占用数据库缓冲池，但如果系统内存紧张，可能引发系统层面的内存竞争。
• 边际效益递减：当缓冲区数量超过存储系统的I/O处理能力和并行代理的实际需求时，继续增加缓冲区不会带来性能提升，反而会浪费内存资源。

三、优化建议 #

1. 先排查并行闲置原因：检查存储系统是否存在瓶颈（如LUN数量不足、RAID级别不合适、存储带宽不够），或Db2备份参数配置是否合理（如是否指定了表空间级并行、PureScale节点备份的配置是否正确）。
2. 逐步调整缓冲区数量：建议先将缓冲区数量增加到20-30个，备份后观察日志中的WaitQ、MsgQ时间及备份速度变化。若等待时间减少、速度提升，可继续小幅调整；若无明显变化，说明已达到当前硬件的瓶颈。
3. 验证压缩效果：当前备份压缩率约为2.1:1，可检查是否启用了最优压缩算法（如Db2的高级压缩），进一步减少备份数据量，提升速度。

内容的提问来源于stack exchange，提问作者Aldi Septian