Spark 3.4.0中用Scala更新Spark Session配置有哪些可行方法？

你已经尝试了三种常见的配置方式，在Spark 3.4.0中，还有以下几种方法可以更新或插入Session配置，适配Elasticsearch 8.8.1的读取需求：

1. 操作SparkContext的Hadoop配置 #

Elasticsearch的Spark连接器底层依赖Hadoop配置体系，你可以直接通过SparkContext的hadoopConfiguration设置ES相关的底层配置，比如节点地址、认证信息等：

spark.sparkContext.hadoopConfiguration.set("es.nodes", "your-es-host")
spark.sparkContext.hadoopConfiguration.set("es.port", "9200")
spark.sparkContext.hadoopConfiguration.set("es.net.http.auth.user", "your-username")
spark.sparkContext.hadoopConfiguration.set("es.net.http.auth.pass", "your-password")

这种方式适合需要传递给Hadoop客户端的ES配置项，会对后续所有ES读取任务生效。

2. 读取数据时批量传入配置 #

如果是针对单次ES读取任务，你可以用config方法一次性传入多个配置项，比多次调用option更高效：

val esDataFrame = spark.read
  .format("org.elasticsearch.spark.sql")
  .config(Map(
    "es.nodes" -> "your-es-host",
    "es.port" -> "9200",
    "es.index.auto.create" -> "false",
    "es.read.field.as.array.include" -> "tags,comments"
  ))
  .load("target-index/_doc")

3. 加载外部配置文件批量设置 #

如果你的ES配置项较多或者需要复用配置，可以把配置写入properties文件，然后在Session创建后批量加载：

// 加载外部配置文件
val configProps = new java.util.Properties()
configProps.load(new java.io.FileInputStream("/path/to/es-config.properties"))
// 遍历设置所有配置
configProps.forEach((key, value) => spark.conf.set(key.toString, value.toString))

配置文件示例（es-config.properties）：

es.nodes=your-es-host
es.port=9200
es.net.http.auth.user=your-username
es.net.http.auth.pass=your-password

注意点 #

• 不是所有Spark配置都能在Session创建后修改，像spark.master、spark.app.name这类核心配置是不可变的，创建后无法更改。
• 设置ES配置时，要使用连接器对应的es.*前缀，确保配置能被Elasticsearch Spark连接器正确识别。

内容的提问来源于stack exchange，提问作者Parth Panchal