Spark写入Cassandra报LOCAL_ONE一致性SIMPLE写入超时异常排查

• Spark组件：spark-sql 3.0.2
• Cassandra连接器：spark-cassandra-connector_2.12:3.1.0
• 运行环境：Java 8
• 故障场景：Spark任务向Cassandra表写入数据时抛出超时异常

Cassandra timeout during SIMPLE write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)

该报错表示LOCAL_ONE一致性级别下的SIMPLE写入请求超时：本次写入要求至少1个副本确认写入成功，但实际0个副本返回写入确认，需进一步检查Spark executor日志获取上下文信息。从异常堆栈看，错误触发点在CassandraDriverDataWriter提交、AsyncStatementWriter关闭阶段，被抑制的IOException明确提示写入目标表kspace.table_cassandra的语句执行失败。

concurrentWrites: 2056 # 历史调整记录：1024 → 64
outputBatchSizeBytes: 2048
outputBatchGroupingKey: partition
outputConsistencyLevel: LOCAL_ONE
outputBatchGroupingBufferSize: 3000
outputThroughput_mb_per_sec: 1024 # 历史调整记录：256
connectionKeep_alive_ms: 30000
readTimeout_ms: 600000
ignoreNulls: true
readConsistencyLevel: LOCAL_ONE

1. 写入并发配置严重过高
   concurrentWrites配置代表单Spark executor的并发写入线程数，设置为2056属于严重过载：普通Cassandra单节点最大可承载的并发写入请求通常在数百级别，若Spark任务存在多个executor，总并发会轻松突破Cassandra集群处理上限，直接打满Cassandra节点的写入线程池、连接池，导致所有请求排队无法被处理，最终出现0副本响应的超时。同时配置中outputThroughput_mb_per_sec设为1024即1GB/s的总写入阈值，也远高于常规Cassandra集群的单节点写入承载能力，突发流量会直接压垮节点。
2. 批次配置不合理导致请求数爆炸
   outputBatchSizeBytes设置为2048即单批次仅2KB，远低于连接器默认的数十KB到数MB的合理批次大小，相同数据量下写入请求数会比合理配置高两个数量级，进一步放大Cassandra集群的请求处理压力。同时outputBatchGroupingKey设为partition，如果写入数据存在倾斜（热点分区），所有写入同一分区的请求会集中打到单个Cassandra副本节点，进一步放大单节点负载，极易触发单节点超时。
3. 超时配置不完整
   当前配置仅调整了读超时readTimeout_ms为10分钟，未配置写入侧的socket超时、请求超时参数，客户端默认写入超时阈值较低，在集群高负载下容易提前触发超时断开。
4. Cassandra集群本身状态异常
   若配置调整后仍复现问题，需排查Cassandra侧故障：比如目标表对应本地副本节点宕机、磁盘使用率100%无法写入、长时间Full GC导致服务停顿、写入线程池队列堆积满，都会导致本地副本无法响应LOCAL_ONE级别的写入请求。

1. 下调写入并发与流量阈值

• 将concurrentWrites初始值调整为与单executor CPU核数持平（比如单executor分配4核就设为4），最高不要超过单executor 32，后续根据集群压测表现逐步小幅上调，禁止直接设置到上千的并发值。
• 将outputThroughput_mb_per_sec初始下调到128，观察Cassandra集群负载（CPU、磁盘IO、写入延迟）后再逐步上调，避免突发流量冲击集群。

2. 优化写入批次配置

• 将outputBatchSizeBytes调整为512KB~1MB区间，不要超过Cassandra服务端commitlog_segment_size_in_mb参数值的1/2，平衡请求数和单批次大小，避免请求数爆炸或大批次超时。
• 如果存在数据倾斜场景，将outputBatchGroupingKey从partition调整为replica_set，让写入请求均匀分发到不同副本节点，避免单节点被热点分区打满；同时将outputBatchGroupingBufferSize从3000下调到500~1000，减少节点侧缓冲的待写入数据量。

3. 补全超时配置
   补充写入侧的超时参数，将写入请求超时、socket超时设置为与readTimeout_ms同级别，避免客户端提前中断写入请求。
4. 排查Cassandra集群状态

• 检查目标数据中心所有Cassandra节点的存活状态、磁盘使用率、CPU负载、GC日志，确认不存在节点宕机、磁盘写满、长时间Full GC的问题。
• 若集群写入负载确实较高，可适当调大Cassandra服务端write_request_timeout_in_ms参数（从默认2s调整到5~10s），同时调大Cassandra写入线程池的队列大小与线程数，匹配实际写入负载。

5. 开启写入重试兜底
   开启连接器自带的幂等写入重试配置，对超时的可重试写入请求自动做有限次重试，降低偶发负载波动导致的任务失败概率。

内容的提问来源于stack exchange，提问作者Shasu