如何在运行Python文件的Databricks Job中读取任务参数

针对Python文件类型的Databricks Job，完全不需要依赖Notebook专属工具读取参数，以下是生产环境验证过的稳定方案，不存在Executor侧上下文丢失的问题：

1. 自定义业务参数读取（Driver侧） #

Python文件作业的所有自定义传参，本质是作为命令行参数传给入口Python脚本的，直接用Python标准库解析即可，和本地跑Python脚本读参数逻辑完全一致，没有任何Databricks私有依赖。

• 配置Job时，在Python任务的参数栏按规则填入参数，比如位置参数或者--key value形式的命名参数
• 代码里直接用argparse解析sys.argv即可：

import sys
import argparse
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

parser = argparse.ArgumentParser()
parser.add_argument("--env", type=str, required=True, help="运行环境: dev/test/prod")
parser.add_argument("--batch-date", type=str, required=True, help="跑批日期")
args = parser.parse_args(sys.argv[1:])

# Driver侧直接使用解析后的参数
run_env = args.env
batch_date = args.batch_date

如果需要在Executor侧的UDF、DataFrame算子、RDD逻辑中使用这些参数，不要直接在算子内部引用Driver侧的变量，通过Spark广播变量分发即可：

# Driver侧提前广播参数
broadcast_env = spark.sparkContext.broadcast(run_env)
broadcast_batch_date = spark.sparkContext.broadcast(batch_date)

# 算子内部从广播变量取值，全Executor节点稳定可读
from pyspark.sql.functions import udf
@udf
def process_data(val):
    current_env = broadcast_env.value
    # 业务逻辑
    return val

2. 系统内置参数/全节点可读参数读取 #

如果需要读取Job ID、Run ID、集群ID这类系统内置参数，或者需要让所有Executor节点直接读到自定义参数，不需要走广播，直接读Spark配置即可：

• 系统内置参数会在作业启动时自动注入到SparkConf中，全节点可读
• 自定义参数可以在Job配置的「Spark配置」栏提前写入，比如spark.mypipeline.checkpointDir=xxx，同样全节点可读
  读取代码示例：

# 读系统内置参数
current_run_id = spark.conf.get("spark.databricks.job.runId")
current_job_id = spark.conf.get("spark.databricks.job.id")

# 读自定义Spark配置
checkpoint_dir = spark.conf.get("spark.mypipeline.checkpointDir")

不管是Driver还是Executor侧，只要拿到活跃的SparkSession，就能通过spark.conf.get()读到上述配置，完全不依赖Notebook上下文。

避坑清单 #

• 禁止使用dbutils.widgets、dbutils.notebook.getContext这类Notebook专属API读参数：这类API强绑定Notebook前端上下文，Python作业模式下没有对应上下文，Executor侧调用大概率直接抛异常，即使偶现运行成功也属于未定义行为，官方不保障稳定性。
• 禁止在Executor侧运行的逻辑中直接读取sys.argv：Executor是集群独立拉起的Worker进程，拿不到Driver进程的启动命令行参数，读出来的值要么为空要么不符合预期。
• 禁止直接在算子逻辑中引用未广播的Driver侧全局参数：Spark会尝试把全局变量序列化后分发给Executor，遇到不可序列化对象会直接报错，大参数传输效率极低，优先走广播变量或者SparkConf传递。

内容的提问来源于stack exchange，提问作者Andrew