如何克隆AWS Glue作业并修改数据库连接、S3路径？可通过CLI实现吗？

首先强烈建议你不要直接克隆20份作业——后续维护成本会极高（比如修改业务逻辑要改20次脚本）。最优方案是对现有作业做参数化改造，用同一个作业就能处理所有客户的情况。如果确实需要克隆，AWS CLI完全可以实现，下面分两种方案详细说明：

方案一：参数化现有作业（推荐） #

把S3文件路径和JDBC连接信息作为作业运行时的参数传入，这样一个作业就能搞定所有场景：

1. 修改Glue作业脚本
   在你的Python脚本开头，用Glue自带的getResolvedOptions方法获取外部传入的参数，替换掉脚本里硬编码的路径和连接信息：

   import sys
   from awsglue.utils import getResolvedOptions
   
   # 定义需要接收的参数
   args = getResolvedOptions(sys.argv, ['s3_input_path', 'jdbc_connection', 'target_table'])
   
   # 在脚本中直接使用这些变量
   input_s3_path = args['s3_input_path']
   jdbc_conn_name = args['jdbc_connection']
   target_db_table = args['target_table']
   

2. 运行作业时指定参数
   每次处理不同客户的数据，只需要用不同的参数启动作业即可：

   # 处理customer1的数据示例
   aws glue start-job-run \
     --job-name your-existing-job \
     --arguments '{
       "--s3_input_path": "s3://your-bucket/customer1-data/",
       "--jdbc_connection": "customer1-jdbc-connection",
       "--target_table": "customer1.target_table"
     }'
   

   你可以把这些命令写到一个shell脚本里，循环处理20个客户，或者用AWS Step Functions批量触发作业运行。

方案二：用AWS CLI批量克隆作业 #

如果因为某些原因必须创建20份独立作业，可以用CLI结合脚本批量操作：

步骤1：导出原始作业配置 #

先把你已有的作业配置导出到JSON文件，作为模板：

aws glue get-job --job-name original-glue-job > original-job-config.json

步骤2：批量生成新作业 #

写一个简单的shell脚本，循环处理每个客户，修改配置文件中的关键字段后创建新作业：

# 配置原始作业名和客户列表
ORIGINAL_JOB="original-glue-job"
CUSTOMERS=("customer01" "customer02" "customer03" ... "customer20")

# 导出原始配置
aws glue get-job --job-name $ORIGINAL_JOB > original-config.json

# 循环创建作业
for CUST in "${CUSTOMERS[@]}"
do
  # 复制配置文件作为当前客户的模板
  cp original-config.json "${CUST}-job-config.json"

  # 修改作业名称
  sed -i "s/\"Name\": \"$ORIGINAL_JOB\"/\"Name\": \"$ORIGINAL_JOB-$CUST\"/" "${CUST}-job-config.json"

  # 修改S3输入路径（替换成你的原始路径和客户专属路径）
  sed -i "s/--s3_input_path=s3:\/\/your-bucket\/original-path\//--s3_input_path=s3:\/\/your-bucket\/$CUST\//" "${CUST}-job-config.json"

  # 修改JDBC连接名称
  sed -i "s/--jdbc_connection=original-jdbc/--jdbc_connection=${CUST}-jdbc/" "${CUST}-job-config.json"

  # 如果作业的Connections字段直接指定了连接，也要同步修改
  sed -i "s/\"Connections\": \[\"original-jdbc\"\]/\"Connections\": \[\"${CUST}-jdbc\"\]/" "${CUST}-job-config.json"

  # 创建新作业
  aws glue create-job --cli-input-json file://"${CUST}-job-config.json"

  # 删除临时配置文件
  rm "${CUST}-job-config.json"
done

# 清理原始配置文件
rm original-config.json

注意事项 #

• 确保你的AWS CLI已经配置了足够的权限（glue:GetJob、glue:CreateJob）。
• 用sed修改JSON时，要注意转义特殊字符（比如路径中的/），如果你的路径包含特殊字符，可以换用其他分隔符，比如sed -i "s#old-path#new-path#"。
• 克隆作业后，记得检查新作业的配置（比如IAM角色、超时时间、资源分配等）是否符合要求。

内容的提问来源于stack exchange，提问作者Bakhesh