Spark Cassandra Connector 2.5.2中connections_per_executor_max无效求等效参数

你遇到的配置报错是因为Cassandra Connector从2.5.0版本开始重构了连接池配置体系，移除了2.4版本中使用的spark.cassandra.connection.connections_per_executor_max参数。

新版本将连接数限制拆分为两类，分别适配不同的集群拓扑场景：

• spark.cassandra.connection.localConnectionsPerExecutor：每个Executor可创建的、指向同机架本地Cassandra节点的最大连接数
• spark.cassandra.connection.remoteConnectionsPerExecutor：每个Executor可创建的、指向跨机架远程Cassandra节点的最大连接数

如果你不需要区分本地/远程连接的上限，将两个参数设置为同一数值，即可完全兼容2.4版本原有参数的行为。

val sparkSession = SparkSession
    .builder()
    .config("spark.cassandra.connection.localConnectionsPerExecutor", 160)
    .config("spark.cassandra.connection.remoteConnectionsPerExecutor", 160)

内容的提问来源于stack exchange，提问作者André Ribeiro