Databricks跨notebook调用含argparse代码报unrecognized arguments错误如何解决
错误产生原因
- Databricks执行
%run命令调用其他notebook时,系统会自动向被调用的进程注入一系列内部运行参数,包括实例ID、运行版本号等,这些参数没有被纳入你自定义的argparse参数规则中。 - 你使用的
parser.parse_args()方法会严格校验所有传入参数,只要存在未定义的参数就会直接抛出错误,不会自动忽略无关参数。 - Databricks中
%run传递的$arg1=xxx格式的参数,本质是被注入为notebook的小组件(widget)参数,并不会直接作为命令行参数传递给Python的argparse模块,就算没有内部参数冲突,你也无法通过argparse拿到对应传值。
解决方案
方案1:适配argparse的临时解决(不推荐)
如果需要保留argparse的写法,只需要将parser.parse_args()替换为parser.parse_known_args(),该方法会将识别到的自定义参数和未识别的额外参数分开返回,不会触发未定义参数报错,修改后的代码如下:
import argparse parser = argparse.ArgumentParser() parser.add_argument('--arg1') parser.add_argument('--arg2') # 第一个返回值是匹配到的自定义参数,第二个返回值是未识别的系统参数直接忽略 arguments, _ = parser.parse_known_args() print(arguments)
注意:该方案无法正常获取你通过%run $arg1=xxx传递的参数值,仅能解决报错问题。
方案2:使用Databricks原生传参逻辑(推荐)
这是Databricks官方适配%run传参的标准方案,修改sample notebook的代码使用widget工具读取参数即可:
# 定义可接收的参数,第二个参数为默认值 dbutils.widgets.text("arg1", "") dbutils.widgets.text("arg2", "") # 读取传入的参数值 arg1 = dbutils.widgets.get("arg1") arg2 = dbutils.widgets.get("arg2") print(f"arg1: {arg1}, arg2: {arg2}")
修改完成后你原有调用命令%run ./sample $arg1="some_text" $arg2="some_text"即可正常运行,参数也会被正确识别读取。
内容的提问来源于stack exchange,提问作者Borislav Blagoev
相关产品推荐
相关产品推荐

