Cassandra原生传输自动禁用，Python批量写入脚本崩溃求助

看起来你的Cassandra集群的Native Transport（也就是CQL服务，默认对应9042端口）时不时会意外关闭，导致Python脚本因为无法连接节点而崩溃。咱们一步步来解决这个问题，先从根源排查，再优化脚本的容错能力：

Native Transport自动关闭肯定是有原因的，先找到根源才能彻底解决：

• 检查Cassandra日志：去节点的日志目录（默认是/var/log/cassandra/，或者你配置的路径），搜索NativeTransportService相关的日志，看看有没有OOM（内存溢出）、端口冲突、或者组件崩溃的报错。比如JVM堆内存不足时，可能会触发服务异常停止。
• 调整JVM配置：打开cassandra-env.sh，检查MAX_HEAP_SIZE和HEAP_NEWSIZE的设置是否合理。如果堆内存太小，Cassandra运行时容易因为内存不足出现各种异常，包括Native Transport意外关闭。
• 监控服务状态：可以用定时任务或者监控工具（比如Prometheus）跟踪native_transport_active_connections这类指标，一旦发现服务停止就及时告警。也可以先临时用脚本自动恢复（后面会说）。
• 检查版本兼容性：如果你的Cassandra版本比较旧，可能存在Native Transport的已知bug，比如特定负载下自动关闭的问题，考虑升级到稳定的新版本（比如3.11.x或者4.x的最新补丁版）。

就算节点偶尔出问题，脚本也不该直接崩溃，得有重试和重连的逻辑：

• 使用驱动内置的重试策略：官方的cassandra-driver提供了多种重试策略，比如DowngradingConsistencyRetryPolicy，可以自动重试连接失败、写入失败的场景：

  from cassandra.cluster import Cluster
  from cassandra.policies import DowngradingConsistencyRetryPolicy
  
  # 初始化集群时配置重试策略
  retry_policy = DowngradingConsistencyRetryPolicy()
  cluster = Cluster(contact_points=['你的Cassandra节点IP'], retry_policy=retry_policy)
  session = cluster.connect('你的keyspace')
  

• 捕获异常并手动重连：在写入循环里捕获NoHostAvailable异常，主动关闭旧连接、重新建立会话，然后重试当前行的写入：

  from cassandra.cluster import Cluster, NoHostAvailable
  import time
  
  def get_session(cluster):
      try:
          return cluster.connect('你的keyspace')
      except NoHostAvailable:
          print("连接失败，正在重试...")
          time.sleep(5)
          return get_session(cluster)
  
  cluster = Cluster(contact_points=['你的节点IP'])
  session = get_session(cluster)
  
  for row in 你的数据行列表:
      try:
          session.execute(
              "INSERT INTO 你的表名 (列1, 列2, 时间戳列) VALUES (%s, %s, %s)",
              (row['列1'], row['列2'], row['时间戳'])
          )
      except NoHostAvailable:
          print("连接丢失，正在重新建立连接...")
          session.shutdown()
          session = get_session(cluster)
          # 重试当前行
          session.execute(
              "INSERT INTO 你的表名 (列1, 列2, 时间戳列) VALUES (%s, %s, %s)",
              (row['列1'], row['列2'], row['时间戳'])
          )
      except Exception as e:
          print(f"写入行失败: {e}")
          # 可以选择记录错误日志或者跳过该行
  

• 优化批量写入：如果数据量很大，建议用BatchStatement做批量写入（注意不要一次性批量太多数据，避免性能问题），同时配合重试策略，提升写入效率和容错性。

如果暂时找不到根源，可以先做自动化恢复，避免手动执行nodetool enablebinary：

• 写一个bash脚本，定时检查服务状态，停止时自动恢复：

  #!/bin/bash
  # 替换成你的nodetool路径
  NODETOOL="/usr/local/cassandra/bin/nodetool"
  # 检查Native Transport状态
  STATUS=$($NODETOOL statusbinary | grep "Native Transport" | awk '{print $3}')
  if [ "$STATUS" = "not" ]; then
      echo "$(date): Native Transport未运行，正在启动..." >> /var/log/cassandra_binary_monitor.log
      $NODETOOL enablebinary
  fi
  

  然后把这个脚本添加到cron定时任务，比如每5分钟执行一次：

  */5 * * * * /path/to/你的脚本.sh
  

• 检查防火墙和网络：确保客户端和Cassandra节点之间的9042端口始终开放，没有被防火墙临时阻断。
• 调整连接池配置：在初始化Cluster时，可以配置core_connections_per_host、max_connections_per_host，避免连接过多给节点造成压力。
• 调整一致性级别：如果写入用的一致性级别太高（比如ALL），在节点不稳定时更容易失败，可以根据业务需求调低到QUORUM或者LOCAL_QUORUM，平衡一致性和可用性。

内容的提问来源于stack exchange，提问作者user988066