Databricks资产包:如何在作业Python代码中调用参数
在Databricks Notebook中调用作业YAML定义的参数
核心解决方案:使用dbutils.widgets获取命名参数
你在作业YAML里定义了命名参数station_file,直接在Notebook的Python代码里用dbutils.widgets.get()就能拿到这个参数值,修改后的代码如下:
# 获取作业传入的station_file参数 file_path = dbutils.widgets.get("station_file") df = spark.read.parquet(file_path)
可选:添加默认值避免手动运行报错
如果需要手动运行Notebook(不通过作业触发),可以先定义参数并设置默认值,Notebook顶部会自动生成输入框,方便调试:
# 定义参数并设置本地调试用的默认路径 dbutils.widgets.text("station_file", "/Workspace/你的调试路径/my_file.parquet", label="Parquet文件路径") # 获取参数值 file_path = dbutils.widgets.get("station_file") df = spark.read.parquet(file_path)
验证参数有效性
可以添加打印语句确认参数是否正确传入:
print(f"当前使用的文件路径:{file_path}")
内容的提问来源于stack exchange,提问作者Johannes Schwartzkopff
相关产品推荐
相关产品推荐

