如何在AWS Glue中跨PySpark脚本导入调用已定义的通用函数

抽离纯通用函数为独立公共模块 #

• 从scriptA.py中剥离所有可复用的无状态函数（例如readSourceData），单独保存为独立的Python文件，如glue_common_utils.py
• 剥离时需完全剔除原脚本中的业务执行逻辑、作业初始化代码（如Job.init()、GlueContext实例化、具体任务调用代码），保证公共模块仅保留可复用的纯函数逻辑
• 若函数需要依赖Spark、GlueContext等运行时对象，直接将这些对象作为入参传入函数，不要在公共模块内部自行初始化，参考写法：

# glue_common_utils.py 示例
def readSourceData(spark, source_path, file_format):
    # 原readSourceData的业务逻辑
    return spark.read.format(file_format).load(source_path)

上传公共模块到S3存储 #

• 将整理完成的glue_common_utils.py上传到Glue作业具备读取权限的S3路径，例如统一归档到s3://<你的Glue脚本存储桶>/common_lib/目录下
• 确认Glue作业绑定的IAM服务角色，对该S3路径拥有GetObject权限，避免依赖文件下载失败

配置Glue作业的依赖加载参数 #

• Glue托管运行环境默认仅加载作业主脚本，需要显式指定待加载的公共依赖文件：
  • 控制台配置场景：在作业「高级属性」板块的「Python库路径」栏，填入公共模块的完整S3路径，多依赖文件用英文逗号分隔
  • 基础设施即代码配置场景：在作业的用户自定义参数中，将--extra-py-files的值设置为对应公共文件的S3路径列表，该参数会触发Glue在作业启动阶段，将指定文件下载到运行节点的工作目录，让Python解释器可以正常识别导入

在scriptB.py中导入并使用函数 #

• 依赖配置完成后，直接在scriptB.py开头按照标准Python语法导入公共模块即可，无需额外处理文件路径：

# scriptB.py 导入示例
from glue_common_utils import readSourceData

# 正常完成作业初始化后调用函数
job = Job()
glue_context = GlueContext(SparkContext.getOrCreate())
source_df = readSourceData(glue_context.spark_session, "s3://your-bucket/source-data", "parquet")

常见问题排查 #

• 禁止直接导入原业务脚本（如scriptA.py）：原脚本顶层的业务执行逻辑会在被import时自动触发，导致作业执行异常
• 若公共依赖为多层级包结构，需要在每个层级目录下补充空的__init__.py文件，将包路径下所有.py文件全部上传S3，并统一配置到--extra-py-files参数中，保证Python能正确识别包结构
• 公共模块需保持无状态特性，避免写入硬编码的作业初始化逻辑，防止不同作业调用时出现初始化冲突
• 出现ImportError时，优先排查三类问题：公共文件的S3路径拼写、Glue服务角色的S3读取权限、公共模块本身的语法错误

内容的提问来源于stack exchange，提问作者Beginner