Cassandra三节点集群轻量事务无法达成法定人数后写入失败求助

问题现象 #

• 三节点SimpleStrategy复制因子3的集群中，某仅依赖轻量事务（CAS）写入的表，在因高负载无法达成法定人数后，后续所有CAS写入均无法返回"[applied]"=true
• 查询system.paxos表发现对应表ID存在未决事务条目
• 系统日志显示自动尝试清理未决Paxos实例但未生效，执行nodetool repair -full <keyspace>及全节点重启均无法解决问题

手动清理未决Paxos事务 #

自动清理机制失效时，需手动干预清除残留的未决事务：

1. 定位未决事务：执行CQL查询确认目标表的未决Paxos记录：

   SELECT * FROM system.paxos WHERE cf_id = '<你的表ID>';
   

   记录返回的ballot、proposer等核心字段值（用于后续验证清理结果）。

2. 触发强制清理：
   Cassandra 4.1+支持通过nodetool直接清理指定表的未决Paxos事务，执行以下命令：

   nodetool paxos cleanup <目标keyspace> <目标表名>
   

   若该命令不可用，可通过JMX调用org.apache.cassandra.db:type=PaxosService下的cleanupUncommittedInstances方法，传入keyspace和表名参数完成清理。

3. 验证清理效果：
   再次执行system.paxos查询，确认目标表ID的条目已被清除，随后尝试CAS写入操作，检查是否能正常返回"[applied]"=true。

后续预防措施 #

• 调整Paxos超时参数：在cassandra.yaml中修改paxos_timeout_in_ms，默认1000ms，高负载场景可调整为2000-3000ms，降低因短暂负载波动导致的法定人数无法达成概率。
• 监控Paxos状态：定期查询system.paxos表，或通过监控工具追踪cassandra_paxos_pending_instances指标，及时发现未决事务苗头。
• 错开高负载时段：CAS事务对集群一致性要求高，避免在业务高峰时段执行大规模CAS写入操作。

内容的提问来源于stack exchange，提问作者PeMa