EMR中PySpark读取Redshift表遇“Requested role未关联集群”错误

核心原因 #

df.count()仅触发Redshift端的聚合计算，无需拉取全量数据，可能仅依赖元数据权限或轻量访问逻辑；而df.show()需要从Redshift拉取实际数据，会触发EMR executor节点与Redshift的直接交互，此时对IAM角色的关联关系、权限校验更严格。

具体解决步骤 #

1. 确认Redshift集群的IAM角色关联状态

   • 登录AWS控制台进入Redshift集群详情，检查「关联的IAM角色」列表，确保报错中提到的角色已成功关联（状态显示为“关联成功”）。
   • 查看该Redshift关联角色的信任策略，确认允许EMR集群的EC2实例角色（通常为EMR_EC2_DefaultRole或自定义EC2角色）扮演它。信任策略示例：

     {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Effect": "Allow",
           "Principal": {
             "AWS": "arn:aws:iam::[你的AWS账号ID]:role/[EMR实例角色名]"
           },
           "Action": "sts:AssumeRole"
         }
       ]
     }
     

2. 配置EMR实例角色的权限

   • 确保EMR的EC2实例角色拥有sts:AssumeRole权限，允许其调用Redshift关联的IAM角色。权限策略示例：

     {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Effect": "Allow",
           "Action": "sts:AssumeRole",
           "Resource": "arn:aws:iam::[你的AWS账号ID]:role/[Redshift关联角色名]"
         }
       ]
     }
     

3. 修正PySpark读取配置

   • 读取Redshift表时，明确指定iam_role参数为Redshift集群已关联的角色ARN，避免默认配置导致的角色传递异常。示例代码：

     df = spark.read \
         .format("com.databricks.spark.redshift") \
         .option("url", "jdbc:redshift://[Redshift端点]:5439/[数据库名]?user=[用户名]&password=[密码]") \
         .option("dbtable", "[模式名].[表名]") \
         .option("tempdir", "s3://[你的S3临时存储桶路径]/temp/") \
         .option("iam_role", "arn:aws:iam::[你的AWS账号ID]:role/[Redshift关联角色名]") \
         .load()
     

   • 确保tempdir指定的S3路径对EMR实例角色和Redshift关联角色均有读写权限，因为数据拉取会通过S3临时中转。

4. 验证角色信任关系

   • 在EMR主节点执行以下AWS CLI命令，测试EMR角色是否能成功扮演Redshift关联角色：

     aws sts assume-role --role-arn "arn:aws:iam::[你的AWS账号ID]:role/[Redshift关联角色名]" --role-session-name "test-redshift-access"
     

   • 若命令返回包含临时凭证的结果，说明信任关系正常；若报错，根据提示修正权限或信任策略。

内容的提问来源于stack exchange，提问作者remeezraja abdulrahman