Apache Airflow调用Glue GetJobs遇UnrecognizedClientException错误排查

以下是常见的问题根源及验证方向：

• AWS凭证配置错误
  检查Airflow Connections中填写的aws_access_key_id和aws_secret_access_key是否与AWS IAM用户的凭证完全一致，注意避免多余空格、换行或特殊字符。如果使用临时STS令牌，需确认aws_session_token已正确配置且未过期。

• Airflow连接类型/参数不匹配
  确保创建的是Amazon Web Services类型的连接，而非自定义类型。部分版本中，若使用自定义连接需在extra字段按格式填写{"aws_access_key_id": "xxx", "aws_secret_access_key": "xxx"}；通过UI表单填写时，要确认字段对应关系正确。

• DAG代码未正确引用目标连接
  检查DAG中调用AWS服务的代码是否指定了正确的连接ID，比如AwsHook(aws_conn_id='your_target_conn_id')，连接ID区分大小写，必须与UI中配置的完全一致。

• Worker节点环境变量冲突
  Airflow Worker节点若存在AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY等系统环境变量，会优先使用这些值而非你配置的连接。可在Worker上执行echo $AWS_ACCESS_KEY_ID验证是否存在冲突。

• IAM权限或凭证有效性问题
  虽然错误提示是令牌无效，但也可能是凭证对应的IAM用户缺少glue:GetJobs操作权限。可以用相同凭证通过AWS CLI执行aws glue get-jobs测试，同时验证凭证本身是否能正常访问AWS服务。

内容的提问来源于stack exchange，提问作者Led