EMR集群中Flink作业访问S3遇403权限拒绝问题求助

根据你描述的情况——节点上的aws和hdfs命令都能正常访问S3，但Flink作业在YARN上运行时却报权限拒绝，我整理了几个关键的排查方向和解决建议：

1. 确保Flink加载EMR的Hadoop配置 #

Flink默认可能不会自动加载EMR节点上的Hadoop配置，导致它使用自带的S3客户端而非EMR优化后的EmrFileSystem，这会引发凭证传递问题。

• 编辑Flink的配置文件/usr/lib/flink/conf/flink-conf.yaml，添加以下配置：

  fs.hdfs.hadoopconf: /etc/hadoop/conf
  

• 重启YARN会话（先停止现有会话，再重新启动），让Flink加载EMR的Hadoop配置，这样作业就能使用EMR的S3客户端来处理请求，自动继承实例角色的凭证。

2. 尝试修改S3路径前缀 #

EMR中s3://前缀的处理可能和Flink默认的实现有差异，尝试将作业中的路径从s3://bucketA/...改为s3a://bucketA/...或者s3n://bucketA/...：

val input: DataSet[String] = env.readTextFile("s3a://bucketA/source/file")
input.writeAsText("s3a://bucketB/delete/me/later")

s3a是Hadoop对S3的原生支持实现，在EMR环境中兼容性更好，能更可靠地继承实例角色权限。

3. 检查YARN容器的凭证传递 #

虽然EC2实例角色有S3权限，但YARN容器需要能获取到实例角色的临时凭证才能传递给Flink作业：

• 检查EMR节点上的/etc/hadoop/conf/yarn-site.xml，确认以下配置是否存在（EMR默认应该已配置）：

  <property>
    <name>yarn.nodemanager.container-executor.class</name>
    <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
  </property>
  <property>
    <name>yarn.nodemanager.linux-container-executor.group</name>
    <value>hadoop</value>
  </property>
  

• 确保YARN容器的运行用户（默认是yarn）有读取实例角色凭证的权限，EMR的默认配置通常会处理这一点，但可以手动验证：在从节点上切换到yarn用户，执行aws s3api list-buckets，看是否能正常返回结果。

4. 查看Flink TaskManager日志获取更多细节 #

作业的报错栈只显示了权限拒绝，但没有凭证加载的细节，你可以查看YARN应用的TaskManager日志：

• 用yarn application -list找到你的Flink应用ID，然后用yarn logs -applicationId <app-id>查看日志。
• 搜索关键词Credentials或S3，看是否有凭证加载失败的信息，比如是否没有找到InstanceProfileCredentialsProvider，或者凭证过期等。

5. 考虑Flink版本的兼容性 #

你使用的Flink 1.4.0是比较旧的版本（发布于2018年），而EMR的Hadoop 2.8.3可能存在一些兼容性问题：

• 检查/usr/lib/flink/lib目录下是否有emr-hadoop-fs相关的JAR包，如果没有，可以从/usr/lib/hadoop/lib下复制对应的JAR到Flink的lib目录，确保Flink能调用EMR优化的S3客户端。

按照以上步骤逐一排查，应该能定位到问题所在。

内容的提问来源于stack exchange，提问作者Phil