重启EC2集群后无法读取S3数据，报NullPointerException求助

这种重启集群后突发的NPE问题，我在日常运维中碰到过好几次，基本都是集群重启后某些状态或配置没有正确恢复导致的，给你列几个最优先排查的方向：

• IAM角色/临时凭证异常
  EC2集群节点通常依赖IAM实例角色获取S3访问权限，重启后可能出现角色未正确关联、临时凭证过期或权限被回收的情况。你可以先在集群节点上执行aws s3 ls s3://mybucket测试底层访问权限，如果这条命令失败，那大概率是IAM权限问题。另外要确认Spark是否使用了instance profile而非硬编码密钥，重启后实例profile有没有正常挂载。

• Spark S3相关配置被重置
  很多时候我们会在集群启动脚本中设置S3客户端的配置参数（比如spark.hadoop.fs.s3a.access.key、spark.hadoop.fs.s3a.secret.key、spark.hadoop.fs.s3a.impl），如果重启时启动脚本没有正确执行，这些配置会回到默认值，导致S3客户端初始化时缺少必要参数抛出NPE。你可以在Spark Shell中执行sc.hadoopConfiguration.get("fs.s3a.access.key")验证配置是否存在。

• S3客户端依赖版本不兼容
  集群重启后，Spark的S3依赖包（比如hadoop-aws、aws-java-sdk）可能被更新或回滚，版本不匹配会导致客户端初始化失败。比如旧版本的hadoop-aws对某些S3特性的处理逻辑不同，新版本可能引入了空指针场景。你可以检查Spark的jars目录下的依赖版本是否和重启前一致。

• 本地临时目录权限问题
  Spark访问S3时会使用本地临时目录（由spark.local.dir配置）存储临时文件，重启后该目录的权限可能被修改，导致Spark运行用户无法读写，进而触发NPE。你可以查看临时目录的权限设置，确保Spark进程用户拥有读写权限。

• 网络与DNS解析故障
  重启后EC2节点的网络配置可能出现异常，比如无法解析S3端点域名，或者VPC S3端点的路由配置失效。你可以在节点上执行ping s3.<你的区域>.amazonaws.com测试连通性，或者用curl https://mybucket.s3.<你的区域>.amazonaws.com验证是否能访问桶资源。

• 环境变量或动态配置丢失
  如果你的代码中依赖环境变量（比如os.getenv("S3_BUCKET_NAME")）来指定桶名，重启后环境变量未正确加载会导致传入Spark的路径为null，触发NPE。你可以检查代码中的动态配置来源，确认重启后这些变量是否存在。

排查建议：先从底层权限和配置入手，用aws cli验证S3访问，再检查Spark的S3配置，逐步缩小范围。

内容的提问来源于stack exchange，提问作者John Smith