如何将值列表全局存储并供Spark作业运行时调用

方案1：通过Spark配置文件的include机制关联全局.conf #

Spark原生支持在配置文件中用include指令引入外部配置，实现全局配置的复用：

• 先创建全局配置文件global_locations.conf，定义地点列表参数：

  # global_locations.conf
  spark.app.locations=100,101,205,310
  

• 然后在每个作业的job.conf开头添加引入语句，让作业加载全局配置：

  # job.conf
  include /绝对路径/global_locations.conf
  
  # 以下是原作业的配置内容
  spark.app.name=YourJobName
  spark.master=yarn
  ...
  

• 最后在Spark作业代码中读取该参数，拼接到SQL查询里：
  Scala示例：

  val locations = spark.conf.get("spark.app.locations")
  val query = s"SELECT * FROM your_table WHERE location IN ($locations)"
  val df = spark.sql(query)
  

  Python示例：

  locations = spark.conf.get("spark.app.locations")
  query = f"SELECT * FROM your_table WHERE location IN ({locations})"
  df = spark.sql(query)
  

方案2：将地点列表存在外部存储（HDFS/本地文件） #

如果不想依赖配置文件关联，可把地点列表放在HDFS或本地文本文件里，作业直接读取：

• 创建locations.txt文件，每行存一个地点值：

  100
  101
  205
  310
  

• 在作业代码中读取文件并转换成SQL可用格式：
  Scala示例：

  val locationStr = spark.read.textFile("/path/to/locations.txt")
    .collect()
    .mkString(",")
  val query = s"SELECT * FROM your_table WHERE location IN ($locationStr)"
  

  Python示例：

  location_list = spark.read.text("/path/to/locations.txt").rdd.map(lambda x: x[0]).collect()
  location_str = ",".join(location_list)
  query = f"SELECT * FROM your_table WHERE location IN ({location_str})"
  

  这种方式修改地点列表时，直接更新文件就行，不用碰任何作业配置或代码。

方案3：用环境变量传递全局列表 #

如果作业部署环境支持环境变量，也可以用这种轻量方式：

• 在全局环境中定义地点列表：

  export SPARK_GLOBAL_LOCATIONS="100,101,205,310"
  

• 在作业代码中读取环境变量：
  Scala示例：

  val locations = sys.env.getOrElse("SPARK_GLOBAL_LOCATIONS", "")
  val query = s"SELECT * FROM your_table WHERE location IN ($locations)"
  

  Python示例：

  import os
  locations = os.getenv("SPARK_GLOBAL_LOCATIONS", "")
  query = f"SELECT * FROM your_table WHERE location IN ({locations})"
  

  适合需要快速切换不同地点列表的场景，改环境变量即可生效。

注意事项 #

• 如果地点值是字符串类型，拼接SQL时要加单引号：比如把mkString(",")改成mkString("','")，SQL里写成IN ('$locations')
• 生产环境优先选方案1或方案2：前者配置管理更规范，后者灵活性更高

内容的提问来源于stack exchange，提问作者Art Booth