使用DataStax OpsCenter执行备份恢复时遇异常求助

针对你遇到的Cassandra定时备份失败问题，这个错误的核心是RMI反序列化时找不到org.apache.cassandra.io.FSWriteError类，同时提示RMI类加载器被禁用。虽然你提到未对系统做任何变更，但这类问题通常和隐性的环境变化有关，以下是具体的排查方向：

• 优先检查文件系统状态（FSWriteError的根源）
  FSWriteError本质是Cassandra在写入文件时触发的异常，RMI的反序列化错误只是表象。你需要：

  • 用df -h检查Cassandra数据目录（默认/var/lib/cassandra/data）所在磁盘是否已满，是否有inode耗尽的情况（用df -i）；
  • 检查数据目录及子目录的权限，确保Cassandra运行用户（通常是cassandra）拥有读写权限：ls -ld /var/lib/cassandra/data；
  • 确认磁盘是否被挂载为只读模式，执行mount查看对应磁盘的挂载选项，是否包含ro。

• 验证RMI相关JVM参数配置
  错误提示“RMI class loader disabled”可能是JVM参数变更导致的（哪怕你没手动改，也可能是重启后配置被覆盖）：

  • 打开Cassandra的启动配置文件cassandra-env.sh，检查JVM_OPTS中是否存在java.rmi.server.disableClassHttpLookup=true或java.rmi.server.useCodebaseOnly=true这类禁用RMI类加载的参数；
  • 如果使用第三方备份工具，确认工具的JVM参数是否和Cassandra服务器的类路径保持一致，避免类加载隔离问题。

• 检查版本兼容性
  如果备份工具（比如nodetool snapshot或第三方工具）和Cassandra服务器版本不匹配，可能出现类结构不一致的情况：

  • 执行nodetool version查看Cassandra服务器版本，对比备份工具的版本是否完全一致；
  • 如果你最近有过隐性的版本升级（比如系统自动更新），这个可能性更高。

• 确认Cassandra类路径的完整性
  FSWriteError类包含在cassandra-all.jar中，需要确保这个jar包存在且可被Cassandra进程读取：

  • 执行ls /usr/share/cassandra/lib/cassandra-all-*.jar（根据你的安装路径调整）确认jar包存在；
  • 用jar tf /usr/share/cassandra/lib/cassandra-all-<你的版本>.jar | grep FSWriteError检查类是否存在于jar包内；
  • 检查jar包的权限，确保Cassandra用户能读取该文件。

• 排查RMI通信与进程状态
  RMI是Cassandra节点间及工具与节点通信的核心，可能存在临时异常：

  • 测试备份发起机器与Cassandra节点的RMI端口（默认7199）连通性：nc -zv <节点IP> 7199；
  • 尝试先执行nodetool drain（确保数据刷新到磁盘），再重启Cassandra进程，看是否能恢复RMI服务的正常状态。

• 查看详细日志定位根源
  以上步骤如果没找到问题，一定要查看Cassandra的系统日志（默认/var/log/cassandra/system.log），在备份失败的时间点附近，通常会有更底层的错误信息（比如磁盘IO错误、权限拒绝等），这些信息能帮你定位真正的触发原因。

内容的提问来源于stack exchange，提问作者Cassio Rossi