AWS Glue Scala作业如何获取Lambda触发传入的参数？

嗨，我来帮你理清这个问题——你用sysArgs(0)直接取参数的方式并不靠谱，甚至大概率会出错，因为AWS Glue作业本身会在启动时注入一些默认参数到sysArgs里，你自己传的参数不会排在第一个位置。下面给你讲两种可行的方法，重点推荐官方的标准做法：

一、Lambda触发时的正确传参方式 #

首先，在Lambda里调用Glue的StartJobRun API时，要把自定义参数放在Arguments字段里，并且参数名必须以--开头（这是Glue要求的格式）。比如用Python写的Lambda示例：

import boto3

glue_client = boto3.client('glue')

def lambda_handler(event, context):
    # 触发Glue作业并传入自定义参数
    response = glue_client.start_job_run(
        JobName='你的Glue作业名称',
        Arguments={
            '--source-path': 's3://your-bucket/input/',
            '--target-path': 's3://your-bucket/output/'
        }
    )
    return {'JobRunId': response['JobRunId']}

二、Glue Scala作业中获取参数的两种方法 #

方法1：官方推荐——用GlueContext的参数解析工具（最可靠） #

Glue提供了专门的参数解析类GlueArgParser，它会自动过滤掉Glue注入的默认参数（比如--JOB_NAME、--TempDir等），只提取你指定的自定义参数，还能处理参数缺失的情况。示例代码：

import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job

object MyScalaGlueJob {
  def main(sysArgs: Array[String]): Unit = {
    // 定义你需要获取的参数名称列表
    val requiredParams = Seq("source-path", "target-path").toArray
    // 解析参数，自动处理默认参数和自定义参数
    val args = GlueArgParser.getResolvedOptions(sysArgs, requiredParams)
    
    // 获取参数值
    val sourcePath = args("source-path")
    // 如果参数可能缺失，可以用getOrElse设置默认值
    val targetPath = args.getOrElse("target-path", "s3://default-bucket/output/")
    
    // 接下来就可以用这些参数写你的业务逻辑了
    println(s"源路径: $sourcePath，目标路径: $targetPath")
  }
}

方法2：直接解析sysArgs（不推荐） #

如果一定要用sysArgs，你需要自己遍历数组解析键值对，因为Glue会把默认参数和你的自定义参数混在一起。比如你传的--source-path xxx会被拆成两个元素放在sysArgs里："--source-path"和"xxx"。示例代码：

def main(sysArgs: Array[String]): Unit = {
  // 把sysArgs转成键值对Map
  val argsMap = sysArgs.sliding(2, 2).map { case Array(k, v) => k.stripPrefix("--") -> v }.toMap
  
  // 然后通过键获取值
  val sourcePath = argsMap.getOrElse("source-path", "default-value")
}

这种方式容易出错，比如参数顺序不对、Glue默认参数干扰等，所以除非特殊情况，不建议使用。

总结 #

绝对不要直接用sysArgs(0)来取参数，因为你拿到的大概率是Glue的默认参数（比如--JOB_NAME）。推荐用官方的GlueArgParser.getResolvedOptions方法，既安全又省心。

内容的提问来源于stack exchange，提问作者datahack