CephFS Octopus在Linux 5.11及以上内核挂载失效问题求助
CephFS挂载故障排查记录
故障基本情况
- 升级Fedora 33到预装的5.11.X内核版本后,原来一直正常使用的CephFS挂载点直接失效
- 交叉验证过程:切回此前长期稳定运行的5.10.X内核重启后,所有CephFS挂载功能完全恢复;额外部署带5.11.0内核的Ubuntu 21.04做对照测试,百分百复现相同故障,确认问题触发源是5.10以上版本内核与现有Ceph集群的兼容缺陷
- 当前临时处置方案:把系统默认启动内核固定为5.10版本,可恢复正常业务使用
- 试过无效的操作:对接Octopus版本Ceph集群时,在挂载参数里加
ms_mode=legacy,完全解决不了故障 - 执行挂载操作时持续刷出的典型内核报错日志:
Apr 26 09:22:15 ubuntu kernel: libceph: no match of type 2 in addrvec Apr 26 09:22:15 ubuntu kernel: libceph: corrupt full osdmap (-2) epoch 64001 off 3154 (0000000073edcb82 of 00000000aaa67e88-00000000ea93de62) Apr 26 09:22:15 ubuntu kernel: osdmap: 00000000: 08 07 72 20 00 00 09 01 9e 12 00 00 86 bb d6 c5 ..r ............ Apr 26 09:22:15 ubuntu kernel: osdmap: 00000010: ae 96 4c 78 8a 5e 50 62 3f 0a e5 24 01 fa 00 00 ..Lx.^Pb?..$.... Apr 26 09:22:15 ubuntu kernel: osdmap: 00000020: 54 f0 53 5d 3a fd ae 0e 3e ea 85 60 07 ab 94 2b T.S]:...>..`...+ Apr 26 09:22:15 ubuntu kernel: osdmap: 00000030: 06 00 00 00 02 00 00 00 00 00 00 00 1d 05 44 01 ..............D. Apr 26 09:22:15 ubuntu kernel: osdmap: 00000040: 00 00 01 02 02 02 20 00 00 00 20 00 00 00 00 00 ...... ... ..... ..... Apr 26 09:22:15 ubuntu kernel: libceph: osdc handle_map corrupt msg ....
可参考的排查与解决思路
- 根因匹配:5.11版本内核重构了libceph模块对OSDMap二进制格式的解析逻辑,和Octopus(v15.2.x)版本Ceph集群输出的旧格式OSDMap不兼容,解析到addrvec字段时直接触发校验失败,最终抛出corrupt osdmap类报错,和日志特征完全对得上
- 零改造临时方案:
- 保持5.10.X版本内核为系统默认启动项,等上游内核合入兼容补丁后再升级高版本内核
- 不用内核态CephFS客户端,切换为用户态
ceph-fuse客户端执行挂载,可直接绕开内核libceph模块的解析逻辑bug
- 长期修复路径:
- 根据业务运维条件,把Ceph集群从Octopus版本升级到后续稳定版本(Pacific、Quincy),匹配新内核libceph模块的格式解析要求
- 若必须保留Octopus版本集群,可等对应兼容补丁发布后,升级到修复版本的5.11及更高内核小版本,没必要长期停留在5.10内核
内容的提问来源于stack exchange,提问作者mvh
相关产品推荐
相关产品推荐

