Databricks notebook中joinWithCassandraTable配置不生效如何解决

问题原因 #

Databricks 环境的 Spark 上下文会在集群启动时完成初始化，默认是不可修改的。你后续对 sparkConf 的修改以及单独初始化的 CassandraConnector 实例，不会被 joinWithCassandraTable 方法默认读取，方法会默认 fallback 到 localhost:9042 地址。

解决方案 #

有两种可行的配置方式，你可以根据使用场景选择：

• 方案1：调用方法时主动传入自定义的 CassandraConnector 实例
  这种方式不需要修改全局配置，适合仅部分任务需要使用该 Cassandra 连接的场景，代码示例如下：

  import com.datastax.spark.connector._
  
  // 你原有初始化的正确配置的CassandraConnector
  sparkConf.set("spark.cassandra.connection.localDC", dc)
  sparkConf.set("spark.cassandra.connection.host", ip)
  sparkConf.set("spark.cassandra.auth.username", cassandraUsername)
  sparkConf.set("spark.cassandra.auth.password", cassandraPassword)
  val cassandraConnector = CassandraConnector(sparkConf)
  
  val keyRdd: RDD[Int] = // 你的主键RDD
  // 调用时显式传入connector参数
  val joinedRdd = keyRdd.joinWithCassandraTable(
    keyspace = "你的keyspace名称",
    table = "你的表名",
    connector = cassandraConnector
  )
  

• 方案2：使用 Databricks 动态配置接口修改全局配置
  如果你整个 notebook 的任务都需要使用该 Cassandra 连接，可以直接用 spark.conf.set 调整运行时配置，修改后所有Cassandra相关方法都会自动读取该配置，代码示例如下：

  // 开头直接设置配置，无需单独初始化CassandraConnector
  spark.conf.set("spark.cassandra.connection.localDC", dc)
  spark.conf.set("spark.cassandra.connection.host", ip)
  spark.conf.set("spark.cassandra.auth.username", cassandraUsername)
  spark.conf.set("spark.cassandra.auth.password", cassandraPassword)
  
  val keyRdd: RDD[Int] = // 你的主键RDD
  // 直接正常调用方法即可
  val joinedRdd = keyRdd.joinWithCassandraTable("你的keyspace名称", "你的表名")
  

注意事项 #

• 已经初始化完成的 Spark 上下文的 sparkConf 是只读的，直接修改该对象的配置不会生效。
• 配置完成后可以通过 cassandraConnector.conf.getHosts 打印连接地址，验证配置是否正确加载。

内容的提问来源于stack exchange，提问作者Da Feng