Couchbase 6.5节点B磁盘写入失败问题求助及日志解读

环境信息 #

• Couchbase版本：6.5
• 集群规模：
  • Node A：16GB内存，4核
  • Node B：16GB内存，4核
• 总Bucket数量：20个
• Bucket类型：Couchbase

问题背景 #

Node B磁盘占满后触发大量ep_data_write_failed写入失败错误，虽已扩容磁盘，但错误计数仍维持在8万以上，当前Node B 1分钟负载均值约为9。

日志解读 #

从memcached.log的警告可以定位两个核心问题：

1. Updating stat snapshot on disk慢操作：这是Couchbase定期将统计快照刷盘的后台任务，耗时超过300ms说明磁盘IO存在严重瓶颈，要么是磁盘本身性能不足，要么是IO资源被其他进程占用。
2. Item pager on vb:1024慢操作：Item Pager是负责清理过期/冷数据、释放内存的线程，针对vBucket 1024的操作多次接近1秒，原因包括：
   • 该vBucket所属Bucket的数据量过大，清理任务过载；
   • 内存配额不足导致Item Pager高频运行，进一步加剧CPU和IO负载；
   • 磁盘IO卡顿拖慢了清理过程中的数据持久化步骤。

磁盘占满触发的初始写入失败会导致数据写入队列积压，即便扩容磁盘后，后台清理、快照刷盘等任务仍在抢占有限的IO资源，进而持续引发新的写入失败。

分步解决方案 #

1. 紧急排查磁盘IO瓶颈 #

• 执行iostat -x 1查看Node B的磁盘使用率（%util）、读写延迟（await），确认是否处于持续高IO状态；
• 检查服务器上是否有备份、日志采集等非必要进程占用磁盘，临时停止这类进程释放资源。

2. 缓解Item Pager的负载压力 #

• 检查Bucket内存分配：20个Bucket共享16GB内存，可能存在个别Bucket配额不合理导致内存不足，调整配额避免单Bucket过度占用；
• 针对vBucket 1024所属的Bucket，检查数据过期策略，缩短非必要数据的过期时间，减少待清理数据量；
• 临时调整ep_item_pager_stime参数（通过cbepctl工具），降低Item Pager的运行频率——注意此操作需谨慎，避免内存溢出风险。

3. 修复写入失败的遗留积压 #

• 对异常Bucket执行数据完整性检查：使用cbepctl <node-ip>:11210 -b <bucket-name> set flush_param full_eviction true强制清理损坏的待写入数据队列；
• 重启Node B上的Couchbase服务：确保服务重新识别扩容后的磁盘空间，清空积压的写入请求。

4. 长期优化措施 #

• 设置磁盘使用率告警阈值（推荐80%），提前预警磁盘空间不足；
• 升级Node B的磁盘硬件（如更换SSD），提升IO性能；
• 考虑升级Couchbase到7.x版本：6.5版本的后台任务调度和内存管理存在性能短板，新版本有针对性优化。

内容的提问来源于stack exchange，提问作者Bidyut