容器部署GitLab中对象存储异常及Redis故障排查求助

核心问题：Redis MISCONF错误 #

Redis报MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify the data set are disabled，即便磁盘有可用空间，根源是Redis无法完成RDB快照持久化，进而禁用写入命令，引发GitLab上传流程的一系列异常。

排查步骤 #

• 检查Redis目录权限：容器内Redis默认运行用户为gitlab-redis，确认RDB存储目录（默认/var/opt/gitlab/redis）的所有者和权限：

  ls -ld /var/opt/gitlab/redis
  

  正常应显示所有者为gitlab-redis:gitlab-redis，权限为drwx------（700）。
• 验证Redis配置的存储目录：通过Redis CLI查看dir参数是否指向有效目录：

  redis-cli config get dir
  

  确保返回的目录存在且可写。
• 检查磁盘挂载状态：如果是宿主机挂载目录到容器，确认宿主机对应目录无只读挂载、无磁盘配额限制，且权限正确。
• 查看Redis日志：查看容器内Redis日志（/var/log/gitlab/redis/current），定位RDB保存失败的具体错误（如fsync失败、目录不存在等）。
• 检查Redis持久化配置：确认save参数是否合理，是否存在误配置导致频繁触发快照或禁用持久化但仍开启保护：

  redis-cli config get save
  

解决方法 #

1. 临时恢复写入权限（紧急处理）：
   执行以下命令临时关闭写入限制（重启Redis后失效）：

   redis-cli config set stop-writes-on-bgsave-error no
   

2. 修复目录权限：
   进入GitLab容器，修复Redis目录的所有者和权限：

   docker exec -it <你的GitLab容器名> /bin/bash
   chown -R gitlab-redis:gitlab-redis /var/opt/gitlab/redis
   chmod 700 /var/opt/gitlab/redis
   

3. 修正Redis持久化配置：
   编辑GitLab配置文件/etc/gitlab/gitlab.rb：

   • 若不需要RDB持久化，直接禁用：

     redis['save'] = [""]
     

   • 若需要持久化，确保save配置合理（示例为默认配置）：

     redis['save'] = ["900 1", "300 10", "60 10000"]
     

   保存后重新配置GitLab并重启Redis：

   gitlab-ctl reconfigure
   gitlab-ctl restart redis
   

4. 验证修复结果：
   执行以下命令确认RDB保存状态正常：

   redis-cli info persistence | grep rdb_last_save_status
   

   返回rdb_last_save_status:ok即为修复成功。

关联GitLab上传异常的解释 #

• keywatcher: pubsub receive: EOF：GitLab Workhorse依赖Redis的Pub/Sub功能实现事件监听，Redis禁用写入后连接中断，触发EOF错误。
• 提示无法连接gitlab.socket但文件存在：Redis异常导致GitLab Rails服务状态不稳定，socket文件存在但Rails进程未正常监听，或Workhorse与Rails的通信链路因Redis问题中断。
• blob.GetBlob: copy rpc data: rpc error: code = Canceled desc = context canceled：上传流程中因Redis写入被禁用，导致流程超时被取消；网页能查看图片是因为文件已成功上传至AWS对象存储，读取流程不受Redis状态影响。

内容的提问来源于stack exchange，提问作者rnd om