Databricks运行时修改Spark配置后无法完成Cassandra写入操作

Spark的全局配置（尤其是Cassandra连接相关属性）在SparkSession启动后修改通常不会生效——Cassandra连接池是基于Session初始化时的配置创建的，后续修改spark.conf.set不会重建连接池，导致读写操作依然沿用旧集群的连接信息，这就是你写入失败的原因。

针对跨Cassandra集群读写的业务需求，正确的做法是在每个读写操作中单独指定目标集群的连接参数，而非修改全局配置。以下是具体实现示例：

DataFrame/SQL API 示例 #

读取生产集群Cassandra表 #

prod_df = spark.read \
    .format("org.apache.spark.sql.cassandra") \
    .option("spark.cassandra.connection.host", "prod-cluster-host") \
    .option("spark.cassandra.auth.username", "prod-username") \
    .option("spark.cassandra.auth.password", "prod-password") \
    .options(table="prod_table", keyspace="prod_keyspace") \
    .load()

数据处理后写入开发集群Cassandra表 #

# 假设已完成数据处理逻辑
processed_df = prod_df.select(...)  # 替换为你的业务操作

processed_df.write \
    .format("org.apache.spark.sql.cassandra") \
    .option("spark.cassandra.connection.host", "dev-cluster-host") \
    .option("spark.cassandra.auth.username", "dev-username") \
    .option("spark.cassandra.auth.password", "dev-password") \
    .options(table="dev_table", keyspace="dev_keyspace") \
    .mode("append")  # 根据需求选择模式：append/overwrite/ignore等
    .save()

RDD API 示例 #

如果使用RDD操作，同样可以通过指定连接配置实现跨集群读写：

# 读取生产集群数据
prod_rdd = sc.cassandraTable("prod_keyspace", "prod_table") \
    .withCassandraConnectionConf({
        "spark.cassandra.connection.host": "prod-cluster-host",
        "spark.cassandra.auth.username": "prod-username",
        "spark.cassandra.auth.password": "prod-password"
    })

# 数据处理逻辑
processed_rdd = prod_rdd.map(lambda row: (row.id, row.value))  # 替换为你的操作

# 写入开发集群
processed_rdd.saveToCassandra(
    "dev_keyspace", 
    "dev_table", 
    connection_conf={
        "spark.cassandra.connection.host": "dev-cluster-host",
        "spark.cassandra.auth.username": "dev-username",
        "spark.cassandra.auth.password": "dev-password"
    }
)

这种方式的核心是让每个读写操作独立使用对应集群的连接参数，完全绕开全局配置的限制，无需重启SparkSession即可实现跨集群数据流转。

内容的提问来源于stack exchange，提问作者Gabriele Sciurti