单个Glue作业能否通过触发传参，每次调用运行不同脚本文件？

完全可以实现，核心思路是用主脚本作为统一入口，通过接收触发时传入的参数，动态加载并执行指定的脚本文件。具体步骤如下：

• 创建主Glue作业：将这个主作业作为唯一调度入口，负责参数解析和脚本分发。
• 接收触发参数：在主脚本中通过Glue工具类获取传入的脚本路径参数，示例代码如下：

  import sys
  from awsglue.utils import getResolvedOptions
  
  # 指定要获取的参数标识
  args = getResolvedOptions(sys.argv, ['script-file-path'])
  target_script = args['script-file-path']
  

• 动态执行目标脚本：利用Python模块加载能力读取并执行指定路径的脚本，脚本存储在S3上可直接传入S3路径（需确保Glue作业的IAM角色有对应S3读取权限）：

  import importlib.util
  
  # 加载并执行目标脚本
  spec = importlib.util.spec_from_file_location("target_module", target_script)
  target_module = importlib.util.module_from_spec(spec)
  spec.loader.exec_module(target_module)
  

• 触发时传入参数：调用Glue作业时，通过--arguments参数指定要运行的脚本路径，比如用AWS CLI触发：

  aws glue start-job-run --job-name your-main-glue-job --arguments '--script-file-path=s3://your-bucket/path/to/target-script.py'
  

注意事项 #

• 若使用Scala脚本，可通过类似逻辑：接收参数后动态加载指定类并执行其主方法。
• 目标脚本需符合Glue作业规范，比如包含必要的Glue上下文初始化逻辑（如果业务需要）。

内容的提问来源于stack exchange，提问作者marcia12