Spark为何始终尝试连接localhost:9042？配置异常求助

看起来你碰到了Spark JobServer里Cassandra连接主机配置不生效的棘手问题——明明其他认证参数（用户名、密码）都正常生效，唯独spark.cassandra.connection.host被默认的localhost覆盖了。我帮你梳理几个针对性的排查和解决方向：

1. 检查Spark JobServer全局配置的优先级覆盖 #

Spark JobServer的配置有多层优先级，你的上下文参数可能被全局配置给覆盖了：

• 打开JobServer的核心配置文件jobserver.conf，查找是否有类似以下硬编码的配置：

  spark.context-settings {
    spark.cassandra.connection.host = localhost
  }
  

  如果存在，要么注释掉这行，要么修改为你的目标Cassandra主机地址。
• 同时确认提交作业时，没有额外传递冲突的spark.cassandra.connection.host参数，避免上下文配置被作业级参数覆盖。

2. 验证Spark Cassandra Connector与各组件的版本兼容性 #

不同版本的Spark Cassandra Connector对配置加载逻辑可能有差异，尤其是和Spark JobServer结合时：

• 确保Connector版本与你的Spark版本、Spark JobServer版本完全匹配：
  • Spark 2.x 对应 Connector 2.x 系列
  • Spark 3.x 对应 Connector 3.x 系列
• 比如在SBT依赖中明确指定兼容版本：

  libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "3.2.0" // 适配Spark 3.2.x
  

3. 排查SessionContextFactory的配置加载逻辑 #

你使用的spark.jobserver.context.SessionContextFactory可能在初始化SparkSession时，没有正确加载所有上下文参数：

• 尝试切换为官方推荐的spark.jobserver.context.SparkSessionContextFactory（如果你的JobServer版本支持）；
• 或者自定义一个上下文工厂，手动确保Cassandra主机参数被注入到SparkConf中：

  package your.custom.package
  
  import spark.jobserver.context.SessionContextFactory
  import org.apache.spark.SparkConf
  import org.apache.spark.sql.SparkSession
  import com.typesafe.config.Config
  
  class CustomCassandraContextFactory extends SessionContextFactory {
    override def createContext(config: Config, contextName: String, sparkContextConfig: SparkConf): SparkSession = {
      // 从上下文配置中读取Cassandra主机并显式设置
      val cassandraHost = config.getString("spark.cassandra.connection.host")
      sparkContextConfig.set("spark.cassandra.connection.host", cassandraHost)
      super.createContext(config, contextName, sparkContextConfig)
    }
  }
  

  之后在上下文配置中替换为自定义工厂：context-factory=your.custom.package.CustomCassandraContextFactory

4. 作业代码中显式设置Cassandra连接参数（临时/兜底方案） #

如果以上方法都没解决，可以在作业代码中直接显式覆盖配置，绕过上下文加载的问题：

// 方式1：初始化SparkSession时直接指定
val spark = SparkSession.builder()
  .config("spark.cassandra.connection.host", "some.host")
  .getOrCreate()

// 方式2：从作业配置中读取并设置
val cassandraHost = config.getString("spark.cassandra.connection.host")
spark.conf.set("spark.cassandra.connection.host", cassandraHost)

5. 检查上下文参数的传递格式 #

最后确认上下文参数的传递是否正确：

• 确保参数键名完全正确：spark.cassandra.connection.host（注意下划线和点号的位置，没有拼写错误）；
• 如果是通过REST API提交上下文，确认参数是否正确编码，没有被URL转义破坏。

先从全局配置和版本兼容性这两个最常见的原因入手排查，一般能解决大部分问题。如果还是不行，尝试自定义上下文工厂或者代码中显式设置参数。

内容的提问来源于stack exchange，提问作者user10864296