Spark向Cassandra写入1MB BLOB时LOCAL_QUORUM写超时如何排查调整

• 首先确认Cassandra集群节点存活状态：执行nodetool status检查所有节点是否正常在线，排除节点宕机、网络分区导致副本无法响应的问题，报错显示0个副本确认写入，优先排查节点可用性。
• 检查节点资源负载：使用nodetool tpstats查看MutationStage队列是否存在请求堆积、丢弃，若堆积量持续上涨说明节点写入能力不足；结合iostat、vmstat检查磁盘IO使用率、IO延迟、CPU及内存占用，1MB BLOB写入对磁盘压力较高，需确认是否存在磁盘性能瓶颈。
• 查看Cassandra系统日志：检查system.log中是否存在频繁GC停顿、节点掉线、写入拒绝的相关记录，若存在长时间Full GC，需调整Cassandra JVM堆内存配置。
• 验证表分区设计合理性：确认是否存在热点分区，若所有写入集中在少量分区，会导致对应节点过载，其余节点资源空闲，也会触发写入超时。

Spark侧配置调整 #

• 调低单核心并发写入数：当前spark.cassandra.output.concurrent.writes配置为100，该参数为每个Spark核心的并行写入请求数，即使单核心运行，100并发的1MB BLOB写入也会直接打垮Cassandra节点，建议先下调至5~10进行测试。
• 优化批次分组策略：将spark.cassandra.output.batch.grouping.key调整为partition，按Cassandra分区对写入请求分组提交，减少和集群的交互次数。
• 调整速率限制：若保留spark.cassandra.output.throughputMBPerSec配置，建议下调至0.5，优先通过并发数控制写入速率，避免速率配置失效导致压力超过集群承载上限。
• 可选调整一致性级别：若业务允许，可临时将spark.cassandra.output.consistency.level调整为LOCAL_ONE测试写入是否正常，排除一致性要求过高导致的超时问题。

Cassandra侧配置调整 #

• 调大写入超时阈值：默认write_request_timeout_in_ms为2000ms，针对大BLOB写入场景可调整为5000~10000ms，给节点留出足够的写入处理时间。
• 适配磁盘性能调整并发数：若集群使用机械硬盘存储，将concurrent_writes从默认32下调至8~16，避免磁盘IO竞争加剧。
• 长期优化建议：将1MB BLOB拆分为更小的分片存储，避免单分区过大导致Cassandra压缩、读写性能下降。

内容的提问来源于stack exchange，提问作者Klun