本地开发的AWS Glue PySpark Notebook如何上传至Glue Job？

以下是几种实用的操作方法：

• 直接替换Glue Job脚本内容

  1. 登录AWS Glue控制台，找到目标Job并进入编辑页面
  2. 切换到「脚本」标签页，把本地VS Code中修改好的代码（注意去掉Notebook的单元格标记，保留纯PySpark代码逻辑）全选粘贴，覆盖原有脚本
  3. 保存修改后即可运行更新后的Job

• 使用AWS CLI批量更新
  适合频繁本地开发的场景：

  1. 将VS Code里修改后的Notebook代码导出为纯.py文件（比如命名为updated_glue_script.py）
  2. 先把脚本上传到你的S3存储桶：

     aws s3 cp updated_glue_script.py s3://your-bucket-name/glue-scripts/
     

  3. 再通过CLI更新Glue Job的脚本地址：

     aws glue update-job --job-name your-job-name --job-update '{"Command": {"ScriptLocation": "s3://your-bucket-name/glue-scripts/updated_glue_script.py"}}'
     

  注意：需确保你的AWS CLI已配置好对应权限

• 通过Glue Studio重新导入Notebook
  若你是从Glue Studio下载的.ipynb格式Notebook：

  1. 打开Glue Studio，点击「创建笔记本」，选择「导入现有笔记本」
  2. 上传本地修改后的.ipynb文件，导入完成后点击「发布」，选择替换现有Job或创建新Job

内容的提问来源于stack exchange，提问作者atlan