能否用AWS Glue Notebook魔法命令修改脚本路径及文件名?对应键是什么?
AWS Glue Notebook 通过
%%configure 修改指定作业配置的方法 AWS Glue Notebook 支持通过 %%configure 魔法命令修改你提到的这几个作业配置字段,对应的配置键及用法如下:
- Script Path:对应配置键为
scriptLocation,需指定完整的 S3 路径(可包含自定义文件名),示例值:s3://your-bucket/glue-scripts/prod/etl-job.py - Temporary path:对应配置键为
tempDir,指定作业运行时的临时文件存储 S3 路径,示例值:s3://your-bucket/glue-temp/prod/ - Script filename:该字段无需单独配置,直接在
scriptLocation路径末尾指定自定义文件名即可,Notebook 会自动将脚本保存到该路径下的对应文件中
完整配置示例
%%configure -f { "scriptLocation": "s3://your-bucket/glue-scripts/qa/data-processing.py", "tempDir": "s3://your-bucket/glue-temp/qa/", "NumberOfWorkers": 3, "WorkerType": "G.2X" }
注意事项
- 加上
-f参数会强制覆盖现有配置,避免重复确认提示 - 确保 Glue 作业关联的 IAM 角色拥有对应 S3 路径的读写权限,否则会出现权限报错
- 修改配置后,重新运行 Notebook 作业即可生效,可在 Glue 控制台的作业详情页验证配置是否更新
内容的提问来源于stack exchange,提问作者Gi Yeon Shin
相关产品推荐
相关产品推荐

