使用SSTableLoader编程批量加载Cassandra遇异常求助

参考了一篇关于Spark与Cassandra SSTable Loader的文章，尝试通过Spark将SSTable批量加载到CCM搭建的本地3节点Cassandra集群中，但出现大量异常，数据未成功加载到目标表，请求协助排查。

相关Java代码片段：

conf.set("cassandra.output.thrift.address", "127.0.0.1");
conf.set("cassandra.output.thrift.port", "9160");

SSTableLoader loader = new SSTableLoader(ssTablesDir, new CqlBulkRecordWriter.ExternalClient(conf), new OutputHandler.LogOutput());
loader.stream();

日志核心异常表现：连接超时、节点通信失败、SSTable加载校验不通过等。

• 确认Thrift服务状态：CCM默认可能关闭Thrift协议，登录每个集群节点修改cassandra.yaml，设置start_rpc: true、rpc_address: 0.0.0.0，重启节点后再测试。注意Thrift已被Cassandra弃用，后续优先用CQL协议。
• 检查集群节点可达性：SSTableLoader需要和集群所有节点建立连接，不能仅连接127.0.0.1。用ccm status查看集群节点IP，确保Spark进程能访问所有节点的对应端口（Thrift 9160或CQL 9042）。
• 验证SSTable版本兼容性：生成SSTable的Spark/Cassandra版本必须和目标集群版本完全一致，不同版本的SSTable格式不兼容，会直接导致加载失败。
• 核对表结构一致性：SSTable对应的键空间、表名、分区键、聚类列、列类型必须和目标集群的表完全匹配，哪怕列顺序或定义细节差异都会触发异常。
• 替换为CQL协议连接：改用更稳定的CQL协议，修改配置代码：

  conf.set("cassandra.contact.points", "127.0.0.1"); // 多节点用逗号分隔IP
  conf.set("cassandra.native.port", "9042");
  

  重新初始化SSTableLoader，避免Thrift相关兼容性问题。
• 检查文件权限：确保Spark进程能读取ssTablesDir下的所有SSTable文件（包括Data.db、Index.db等底层文件），权限不足会导致加载时无法读取数据。

内容的提问来源于stack exchange，提问作者userkn