VirtualBox部署CentOS8+Ceph Octopus集群OSD创建超时失败问题求助

问题根因定位 #

错误本质是OSD节点的client.bootstrap-osd客户端无法与mon节点完成认证连接，请求300秒超时后无法申请到新OSD ID，偶发成功说明是环境不稳定、配置疏漏类问题，而非完全不可达的故障。 #

排查解决步骤 #

一、基础环境排查（90%以上该类问题都是这类原因导致） #

• 关闭所有节点的防火墙与SELinux：CentOS 8默认firewalld会拦截Ceph的6789、3300等端口，偶发成功大概率是部署过程中防火墙规则加载延迟导致的临时通行。所有节点执行：

  systemctl stop firewalld && systemctl disable firewalld
  setenforce 0
  

  同时修改/etc/selinux/config文件，将SELINUX参数值改为disabled，永久关闭SELinux。
• 验证时间同步一致性：Ceph集群要求所有节点时间差不超过50ms，时间偏移过大直接导致认证失败。所有节点安装chrony配置同个NTP源，执行chronyc sources确认时间同步正常。
• 排查VirtualBox网络配置：所有节点统一使用桥接网卡/仅主机网卡，禁止使用NAT网络，NAT的端口映射、网络抖动极易引发偶发超时。同时关闭所有节点的NetworkManager服务，使用network服务配置静态IP，避免IP动态变动、DNS解析卡顿：

  systemctl stop NetworkManager && systemctl disable NetworkManager
  

• 配置全节点hosts映射：所有节点的/etc/hosts文件都要写入所有集群节点的IP+主机名对应关系，确保node1/node2上执行ping admin可以正常解析到192.168.1.75。
• 确认mon端口连通性：在node1、node2上执行nc -zv 192.168.1.75 6789验证端口连通性，如果不通，登录admin节点执行ss -tulnp | grep ceph-mon确认mon进程监听地址是192.168.1.75或者0.0.0.0，而非127.0.0.1。

二、认证与权限排查 #

• 校验bootstrap密钥一致性：对比admin节点/var/lib/ceph/bootstrap-osd/ceph.keyring与node1、node2同路径文件的内容，如果不一致，手动将admin节点的密钥复制到所有OSD节点，然后执行chown ceph:ceph /var/lib/ceph/bootstrap-osd/ceph.keyring修正权限。
• 确认bootstrap权限配置：在admin节点执行ceph auth ls，检查client.bootstrap-osd用户是否存在，且权限包含mon 'allow profile bootstrap-osd'、osd 'allow *'。

三、部署参数调整 #

• 放大超时阈值：单mon集群响应压力较大，容易出现请求超时，在ansible的group_vars/all.yml配置文件中添加以下参数：

  ceph_mon_client_timeout: 600
  ceph_osd_client_timeout: 600
  

• 关闭OSD并行部署：默认ansible会同时在所有OSD节点执行创建操作，单mon节点扛不住并发请求容易超时，修改OSD部署的playbook，添加serial: 1参数，让OSD逐个创建，降低mon压力。
• 调整单盘OSD数量：你配置了--osds-per-device 4，如果/dev/sdb是机械盘，单盘分4个OSD本身会大幅拉长执行时间，还会增加mon请求压力，机械盘建议修改为osds_per_device: 1，SSD最多保留4个。
• 分步部署验证：不要一次性跑完所有playbook，部署到OSD步骤前，先在admin节点执行ceph -s确认集群状态为HEALTH_OK，无任何告警后再执行OSD部署步骤。

四、失败后残留清理 #

每次部署失败后必须完全清理所有节点的残留数据再重试，残留的LVM分区、旧配置文件会导致后续部署异常，所有节点执行：

cephadm rm-cluster --fsid $(ceph fsid) --force
vgremove -f $(vgs | grep ceph | awk '{print $1}')
pvremove -f /dev/sdb
wipefs -a /dev/sdb
rm -rf /var/lib/ceph/* /etc/ceph/*

确认磁盘无残留LVM信息后再重新启动部署流程。

内容的提问来源于stack exchange，提问作者esh9999