这问题确实有点让人困惑——能正常读S3对象、日志也能写到S3，偏偏写Parquet时就报密钥不存在。我来帮你梳理下可能的原因和解决办法：

核心原因分析 #

这种情况大概率是Spark写入操作使用的凭证，和读取/日志写入时的凭证不一致导致的。EMR集群默认会依托EC2实例的IAM角色来访问S3，但你的代码或作业配置可能不小心覆盖了这个默认机制，用上了本地环境的无效凭证。

具体解决步骤 #

1. 移除代码中硬编码的S3凭证 #

如果你的Spark代码里手动设置了spark.hadoop.fs.s3a.access.key或spark.hadoop.fs.s3a.secret.key这类参数，立刻删掉！临时EMR集群完全不需要硬编码凭证，它会自动使用EC2实例的IAM角色权限。你本地的凭证在集群环境里是无效的，这很可能就是报错的根源。

2. 确认EMR实例角色的写入权限 #

虽然读取和日志写入正常，但还是要检查下实例角色（默认是EMR_EC2_DefaultRole）是否拥有目标S3桶的写入权限：

• 打开AWS IAM控制台，找到该角色关联的权限策略
• 确保策略里包含目标桶的s3:PutObject、s3:DeleteObject等写入相关权限，比如类似这样的配置：

  {
      "Effect": "Allow",
      "Action": [
          "s3:PutObject",
          "s3:DeleteObject",
          "s3:ListBucket"
      ],
      "Resource": [
          "arn:aws:s3:::your-target-bucket/*",
          "arn:aws:s3:::your-target-bucket"
      ]
  }
  

3. 清理作业提交时的凭证配置 #

如果你提交作业时用--conf参数手动指定了S3凭证，比如：

spark-submit --conf spark.hadoop.fs.s3a.access.key=xxx --conf spark.hadoop.fs.s3a.secret.key=yyy ...

请把这些配置去掉！EMR会自动通过实例角色获取合法的临时凭证，手动指定的本地凭证在集群里根本不生效。

4. 验证S3路径格式 #

确保你写入Parquet的路径用的是s3a://your-bucket/path/格式（相比旧的s3://，s3a在EMR上更稳定）。另外确认目标桶没有额外的权限限制，比如桶策略拒绝了实例角色的写入请求。

5. 深挖EMR日志细节 #

如果上面的方法都没解决问题，去EMR日志对应的S3路径里找更详细的错误日志，比如Spark Driver的日志。有时候AWS的错误提示会有误导性，所谓的“密钥不存在”，实际可能是实例角色的权限不足。

总结 #

最常见的触发场景就是你在代码或提交命令中硬编码了本地S3凭证，而这些凭证在临时EMR集群上无法生效。EMR集群依赖IAM实例角色来访问AWS服务，所以尽量不要手动指定凭证，让集群自动使用角色权限就好。

内容的提问来源于stack exchange，提问作者Jim