Cassandra连接异常及Spark流数据未写入问题求助

一、cqlsh首次连接失败、多次尝试成功的问题 #

可能原因及解决办法： #

• Cassandra服务未完全初始化：3.9版本启动时，后台需要完成元数据加载、CQL服务启动等操作，期间9042端口尚未完全监听。可以等logs/system.log中出现Starting listening for CQL clients on /127.0.0.1:9042日志后，再执行cqlsh命令。
• 连接超时参数过短：默认连接超时可能不足以等待服务就绪，尝试增加超时时间：

  bin/cqlsh --connect-timeout 10
  

• 端口监听配置异常：检查conf/cassandra.yaml中的关键配置：
  • rpc_address：确认设置为127.0.0.1（或可正常访问的节点IP）
  • start_rpc：确保值为true
• 服务进程稳定性问题：查看logs/system.log是否存在GC超时、进程重启等异常，若有需调整JVM堆内存参数或排查硬件资源瓶颈。

二、Spark流处理命令正常但数据未写入Cassandra的问题 #

可能原因及解决办法： #

• 版本兼容性不匹配：Spark Cassandra连接器版本必须与Cassandra 3.9对应。例如Spark 2.x需搭配spark-cassandra-connector_2.11-2.0.10这类适配版本，版本不符会导致静默写入失败。
• 写入配置错误：核对Spark作业中的核心配置：
  • 确认spark.cassandra.connection.host指向正确的Cassandra节点IP
  • 验证目标keyspace、表名存在，且DataFrame的字段名、数据类型与Cassandra表完全一致
• 主键冲突或写入模式问题：
  • 若表含主键，检查写入数据是否存在主键重复，默认模式下重复主键会覆盖旧数据，需根据业务调整写入逻辑
  • 确认使用append模式写入，避免误操作导致数据被覆盖删除
• 一致性级别不兼容：单节点Cassandra集群下，Spark写入的一致性级别不能设为QUORUM，需改为ONE或LOCAL_ONE，否则会因无法满足一致性要求而静默失败。
• 日志排查：
  • 查看Spark Driver和Executor日志，搜索cassandra相关的错误信息（如连接超时、权限拒绝）
  • 查看Cassandra的logs/system.log，检查是否存在WriteTimeout、Unauthorized等异常记录

内容的提问来源于stack exchange，提问作者UTHAYAKUMAR M