启动DataStax Kafka Connector时Cassandra频繁崩溃的解决求助

1. 优化WSL2资源分配 #

WSL2默认占用主机一半内存，8GB主机环境下WSL最多分配4GB，不足以支撑Cassandra+Kafka Connect的JVM内存需求，需手动调整：

• 在Windows用户目录（C:\Users\<你的用户名>）创建.wslconfig文件，写入：

  [wsl2]
  memory=6GB
  processors=3
  

• 执行wsl --shutdown重启WSL，使配置生效。

2. 调整Cassandra JVM内存配置 #

修改Cassandra安装目录下的conf/jvm.options：

• 将初始堆内存（-Xms）和最大堆内存（-Xmx）调整为1.5GB：

  -Xms1536M
  -Xmx1536M
  

• 添加堆外内存限制，避免内存溢出：

  -XX:MaxDirectMemorySize=1G
  

• 重启Cassandra生效。

3. 降低Kafka Connect内存占用 #

修改Kafka的bin/connect-standalone.sh脚本，调整JVM参数：

• 找到KAFKA_HEAP_OPTS配置行，改为：

  export KAFKA_HEAP_OPTS="-Xms512M -Xmx1024M"
  

4. 减少Cassandra并发资源消耗 #

修改Cassandra的conf/cassandra.yaml：

• 降低原生传输线程数：

  native_transport_max_threads: 64
  

• 调整RPC最大线程数：

  rpc_max_threads: 32
  

• 重启Cassandra生效。

5. 延迟Kafka Connect启动 #

Cassandra日志显示进入NORMAL状态时，内部服务可能未完全就绪，立刻启动Connect会造成资源突增。修改启动命令，增加延迟：

sleep 30 && bin/connect-standalone.sh connect-standalone.properties cassandra-sink-standalone.properties

问题根源说明 #

WSL2的内存管理机制与原生Linux存在差异，资源竞争阈值更低；Cassandra与Kafka Connect均为JVM应用，默认内存配置会导致内存抢占；Cassandra进入NORMAL状态仅代表集群状态正常，内部服务初始化仍需时间，高并发连接会触发隐性OOM导致节点崩溃。

内容的提问来源于stack exchange，提问作者greemei