Cassandra 4.0中Lucene索引查询突然失效问题求助

问题场景 #

在Cassandra 4.0环境中，将Lucene插件jar包放置于Cassandra的lib目录下使用Lucene索引查询，近期Lucene查询突然失效，仅能通过删除并重建对应表的索引恢复功能。系统日志仅输出无具体错误信息的断言异常：

ERROR [ReadStage-4] 2022-11-25 06:12:29,910 AbstractLocalAwareExecutorService.java:169 - Uncaught exception on thread Thread[ReadStage-4,10,main]
java.lang.AssertionError: null
ERROR [ReadStage-1] 2022-11-25 06:12:33,737 AbstractLocalAwareExecutorService.java:169 - Uncaught exception on thread Thread[ReadStage-1,5,main]
java.lang.AssertionError: null

可能的根因 #

• Lucene索引文件损坏：节点异常重启、磁盘IO故障、集群数据同步异常等场景，都可能导致Lucene索引文件结构损坏，触发无明确信息的断言错误。
• 版本兼容性问题：Cassandra 4.0对内部API做了较多改动，若使用的Lucene插件未适配该版本，长期运行后可能出现内存或索引结构层面的隐性错误，最终引发断言失败。
• 内存资源不足：ReadStage线程处理Lucene查询时，JVM内存不足导致GC异常或对象初始化失败，可能抛出无具体上下文的AssertionError。
• 索引元数据不一致：集群节点间Lucene索引的元数据同步出现偏差，查询时索引状态校验不通过触发异常。

排查与解决步骤 #

1. 校验插件版本兼容性

   • 确认使用的Lucene插件为适配Cassandra 4.0的版本（例如stratio-cassandra-lucene-index的4.0.x分支），若版本不匹配，替换为兼容版本后重启整个Cassandra集群。

2. 启用详细日志定位问题

   • 修改Cassandra的logback.xml配置文件，将Lucene相关包的日志级别调整为DEBUG或TRACE，添加如下配置：

     <logger name="com.stratio.cassandra" level="DEBUG"/>
     

     重启节点后，下次出现异常时可获取完整错误栈，定位具体断言失败的代码位置。

3. 检查磁盘与JVM状态

   • 使用smartctl等工具检查节点磁盘健康状态，确认无坏道、IO超时等问题；查看系统日志（如/var/log/messages、dmesg）排查磁盘相关错误。
   • 检查cassandra-env.sh中的JVM内存配置（MAX_HEAP_SIZE、HEAP_NEWSIZE），确保内存分配合理，避免频繁Full GC引发的异常。

4. 优化索引维护方式

   • 避免频繁删除重建索引，可尝试使用插件提供的索引重建命令替代，减少业务影响：

     ALTER TABLE your_table REBUILD INDEX your_lucene_index;
     

5. 同步集群状态

   • 用nodetool status确认所有节点状态正常（无UN/DN节点）；执行nodetool repair your_keyspace.your_table进行增量修复，确保节点间数据与索引元数据同步一致。

内容的提问来源于stack exchange，提问作者sarojsethy