多作业PySpark项目部署至AWS Glue的方案咨询

1. 支持上传项目包而非单个脚本 #

AWS Glue并非只能运行单个.py脚本，完全支持上传整个项目包：

• 可以把包含jobs、lib、main.py等核心文件的项目打包成.zip，直接上传到Glue作业的Python库路径（作业配置中的「Python library path」）。
• 也可将项目目录上传至S3，在Glue作业的脚本路径中指定main.py的S3地址，同时把lib等依赖目录的S3路径添加到作业的额外Python文件（「Extra Python files」）配置项。

2. 通过Step Functions传递参数启动指定作业 #

可以用Step Functions编排Glue作业，并传递参数指定运行的具体作业：

• 在Step Functions状态机中，使用AWS Glue StartJobRun动作，通过Arguments字段传递自定义参数（例如--target-job=job_1）。
• 在main.py中通过sys.argv或Glue的getResolvedOptions方法读取这些参数，根据参数调用jobs目录下对应的作业逻辑。

3. 处理lib目录的共享Python包 #

针对lib里的共享包，有两种实用处理方式：

• 将lib目录单独打包成.zip上传到S3，在Glue作业的「Python library path」中添加该zip的S3路径，Glue会自动将其加入Python路径。
• 如果lib是自研模块，可将整个项目（含lib和jobs）整理成可导入的包结构，确保main.py能正确导入lib中的模块，再将完整项目包上传到Glue的Python库路径。

4. 容易遗漏的Glue要点 #

• 依赖配置字段：Glue作业配置中有专门的字段处理Python依赖（额外Python文件、Python库路径），无需手动在脚本中添加路径，Glue会自动处理。
• S3权限：必须确保Glue作业绑定的IAM角色拥有项目文件所在S3桶的访问权限，否则会出现文件读取失败。
• 打包注意事项：打包时剔除虚拟环境、data、test等非必要目录，缩小包体积；第三方依赖要兼容Glue的Python版本（如Glue 4.0对应Python 3.10），可提前用对应版本Python打包依赖。

内容的提问来源于stack exchange，提问作者Madiha Khalid