K8S集群中Hive Metastore对接S3遇403权限问题及配置验证咨询

我在K8S集群中运行hive-metastore（搭配Trino查询AWS上的数据），已为hive-metastore配置ServiceAccount，连接到Pod执行aws sts get-caller-identity时能看到正确的角色。

使用版本：

HIVE_VERSION=4.0.0
AWS_HADOOP_VERSION=3.3.1
AWS_SDK_VERSION=1.11.901

尝试创建Hive表时出现以下错误：

2024-07-02T06:32:29,371 ERROR [Metastore-Handler-Pool: Thread-223] metastore.RetryingHMSHandler: MetaException(message:Got exception: java.nio.file.AccessDeniedException s3a://BUCKET/TABLE_DIR: getFileStatus on s3a://BUCKET/TABLE_DIR: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Proxy: null)

我已为该角色配置了宽泛的权限，因此权限并非问题所在。

hive-metastore的配置文件metastore-site.xml如下：

<property>
        <name>fs.s3a.connection.ssl.enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>fs.s3a.endpoint</name>
        <value>s3-us-west-1.amazonaws.com</value>
    </property>

    <property>
      <name>fs.s3a.aws.credentials.provider</name>
      <value>org.apache.hadoop.fs.s3a.auth.IAMInstanceCredentialsProvider</value>
    </property>

    <property>
        <name>fs.s3a.path.style.access</name>
        <value>true</value>
    </property>

    <property>
        <name>fs.s3a.impl</name>
        <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
    </property>

请问该配置是否正确？如何验证Hive能否假定该角色？

配置问题分析 #

当前metastore-site.xml的核心问题在于凭证提供者选择错误：IAMInstanceCredentialsProvider是用于从EC2实例元数据获取凭证的组件，但K8S环境中，ServiceAccount的凭证是通过集群挂载的服务账户令牌提供的，并非EC2实例元数据。这直接导致Hive无法获取到正确的IAM角色凭证，进而触发S3访问403错误。

正确的配置应该使用WebIdentityTokenCredentialsProvider，该组件专门适配K8S中通过IRSA（IAM Roles for Service Accounts）机制获取凭证的场景。

修改后的配置 #

更新fs.s3a.aws.credentials.provider属性，并补充必要的令牌路径和角色ARN配置：

<property>
  <name>fs.s3a.aws.credentials.provider</name>
  <value>org.apache.hadoop.fs.s3a.auth.WebIdentityTokenCredentialsProvider</value>
</property>

<!-- 补充令牌路径和角色ARN配置 -->
<property>
  <name>fs.s3a.web.identity.token.file</name>
  <value>/var/run/secrets/eks.amazonaws.com/serviceaccount/token</value>
</property>
<property>
  <name>fs.s3a.web.identity.iam.role.arn</name>
  <value>你的IAM角色ARN</value>
</property>

注：令牌路径默认是/var/run/secrets/eks.amazonaws.com/serviceaccount/token，如果使用非EKS的K8S发行版，需调整为对应ServiceAccount挂载的token文件路径。

验证Hive角色假定的方法 #

1. Hadoop FS命令直接验证
   进入hive-metastore的Pod，执行以下命令测试S3路径访问：

hadoop fs -ls s3a://BUCKET/TABLE_DIR

如果能正常列出目录内容，说明Hive已成功获取角色凭证并完成假定。

2. 开启调试日志追踪凭证流程
   在hive-log4j2.properties中添加调试日志配置：

log4j.logger.org.apache.hadoop.fs.s3a.auth=DEBUG
log4j.logger.com.amazonaws.auth=DEBUG

重启hive-metastore后，查看日志是否包含Web身份令牌获取、STS AssumeRoleWithWebIdentity调用记录，以及返回的角色信息是否与预期一致。

3. 模拟Hive的STS调用逻辑
   在Pod内直接执行STS命令，验证令牌和角色的有效性：

aws sts assume-role-with-web-identity \
  --role-arn "你的IAM角色ARN" \
  --role-session-name "hive-test" \
  --web-identity-token file:///var/run/secrets/eks.amazonaws.com/serviceaccount/token

如果返回有效的临时凭证，说明令牌和角色配置无问题，需排查Hive配置的其他细节。

内容的提问来源于stack exchange，提问作者Maya Harel