如何使用两种不同AWS凭证提供商分别访问S3和Glue Catalog？

Spark本身没有和fs.s3a.aws.credentials.provider完全对应的专属配置项来单独指定Glue Catalog的凭证提供者，但可以通过以下几种方案实现S3与Glue的凭证分离：

1. 基于EMR IAM角色分离权限 #

给EMR集群配置两套独立的IAM角色：

• 一套通过**实例配置文件（Instance Profile）**赋予S3读写权限，仅包含目标数据桶的s3:PutObject、s3:GetObject等必要权限。
• 另一套通过**EMR服务角色（Service Role）**或自定义Glue专属角色，绑定Glue Catalog操作权限，如glue:CreateTable、glue:UpdateTable、glue:GetTable等。
  启动EMR集群时分别指定这两个角色，即可让S3访问和Glue Catalog操作使用不同的权限身份。

2. 作业层面动态切换凭证 #

代码中指定Glue专属客户端 #

在Spark代码中直接初始化带独立凭证的Glue客户端，用于手动操作Catalog：

import com.amazonaws.auth.{AWSStaticCredentialsProvider, BasicAWSCredentials}
import com.amazonaws.services.glue.AWSGlueClientBuilder

// SparkSession配置S3凭证
val spark = SparkSession.builder()
  .config("fs.s3a.access.key", "YOUR_S3_ACCESS_KEY")
  .config("fs.s3a.secret.key", "YOUR_S3_SECRET_KEY")
  .enableHiveSupport()
  .getOrCreate()

// 初始化带独立凭证的Glue客户端
val glueCreds = new BasicAWSCredentials("YOUR_GLUE_ACCESS_KEY", "YOUR_GLUE_SECRET_KEY")
val glueClient = AWSGlueClientBuilder.standard()
  .withCredentials(new AWSStaticCredentialsProvider(glueCreds))
  .withRegion("YOUR_REGION")
  .build()

// 使用glueClient执行Catalog操作，比如创建表、更新元数据

提交作业时通过环境变量覆盖Glue凭证 #

如果依赖Spark自动同步Glue Catalog（如CREATE TABLE SQL语句），可在提交作业时通过环境变量指定Glue专属凭证，同时在Spark配置中指定S3凭证：

# 设置Glue凭证环境变量
export AWS_ACCESS_KEY_ID=YOUR_GLUE_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_GLUE_SECRET_KEY

# 提交Spark作业，同时指定S3的凭证配置
spark-submit \
  --conf fs.s3a.access.key=YOUR_S3_ACCESS_KEY \
  --conf fs.s3a.secret.key=YOUR_S3_SECRET_KEY \
  --class com.your.package.YourJob \
  your_job.jar

3. 自定义Glue凭证提供者（深度定制） #

部分EMR版本支持通过配置自定义AWS凭证提供者类来为Glue Catalog指定独立凭证：

1. 实现一个继承自com.amazonaws.auth.AWSCredentialsProvider的自定义凭证类，比如GlueCustomCredentialsProvider，在其中加载Glue专属凭证。
2. 在Spark的hive-site.xml中添加配置：

   <property>
     <name>hive.metastore.glue.credentials.provider</name>
     <value>com.your.package.GlueCustomCredentialsProvider</value>
   </property>
   

该方案需要验证目标EMR版本的兼容性，适合需要全局统一配置的场景。

注意事项 #

• 遵循最小权限原则：S3角色仅拥有数据桶的必要读写权限，Glue角色仅拥有Catalog操作权限，避免权限过度授权。
• 确认EMR版本支持：部分旧版EMR可能不支持hive.metastore.glue.credentials.provider等配置项，需参考对应版本的EMR文档。

内容的提问来源于stack exchange，提问作者Prabodh Mhalgi