Azure Databricks Python中与awsglue getResolvedOptions等价的函数咨询

对齐原函数的核心行为 #

AWS Glue自带的getResolvedOptions本质就做了三件事，迁移时1:1对齐就不会出问题：

• 抓取作业启动时传入的--参数名 参数值格式的键值对
• 校验指定的必填参数是否存在，缺了直接在启动阶段报错
• 把解析好的参数封装成可通过键名索引的字典返回

零依赖的可直接复用代码 #

完全用Azure Databricks内置能力实现，不需要装任何包，和awsglue组件完全解耦：

def getResolvedOptions(required_params: list):
    resolved_args = {}
    # 清理历史遗留的交互参数，避免取到上次运行的旧值
    dbutils.widgets.removeAll()
    for param_name in required_params:
        try:
            resolved_args[param_name] = dbutils.widgets.get(param_name)
        except Exception as e:
            raise KeyError(f"缺少必填作业参数: {param_name}") from e
    return resolved_args

迁移后的调用方式 #

和原AWS Glue代码的用法几乎没有差别，不需要改动后续的业务取值逻辑：

# 删掉原代码里的 import sys、from awsglue.utils import getResolvedOptions 两行导入
args = getResolvedOptions(['JOB_NAME', 'day_partition_key'])
# 后续取值完全和原逻辑一致
print(args['day_partition_key'])

容易踩的坑 #

• 别硬解析sys.argv：Azure Databricks的作业提交参数根本不会写入Python内核的sys.argv列表里，照搬本地Python脚本的argparse解析sys.argv的写法，在Databricks环境里根本读不到传的参数
• 传参规则完全兼容原AWS Glue的习惯：不管是手动在笔记本界面填参数调试、还是在Databricks Workflows配定时任务时，用--JOB_NAME 每日同步 --day_partition_key 202406的格式传参，这个函数都能正常读到，不需要改原来的提交脚本
• 错误提示行为和原Glue一致：必填参数缺失时会在作业启动最开始就抛出明确的错误，不会跑到业务逻辑中途才因为参数为空崩掉

内容的提问来源于stack exchange，提问作者NLG123