在EMR上用Spark SQL查询Glue表时遭遇NullPointerException(Name is null)

你遇到的这种“能看到数据库但查不了表”的问题，通常是权限、元数据完整性或者配置细节的问题，我整理了几个关键排查方向，你可以一步步验证：

• 先确认IAM权限是否到位
  能列出数据库说明你的EMR角色有glue:GetDatabase权限，但查询表需要额外的权限：glue:GetTable、glue:GetPartition（如果是分区表），以及访问表对应S3存储路径的权限。你可以检查EMR的EC2实例角色（比如默认的EMR_EC2_DefaultRole）的IAM策略，确保包含这些允许动作，或者直接测试给角色附加AmazonS3FullAccess和AWSGlueConsoleFullAccess（仅限测试，生产环境要最小权限），看是否能解决问题，以此排除权限因素。

• 验证Glue表的元数据是否完整有效
  登录Glue控制台找到目标表：

  • 检查**存储位置（Location）**是否指向存在的S3路径，路径有没有拼写错误；
  • 如果是分区表，确认分区已正确创建且分区位置有效；
  • 同时可以在EMR master节点用Hive命令行测试：hive -e "SELECT * FROM your_db.your_table LIMIT 1;"，如果Hive也报错，那问题大概率在元数据或底层存储，而非Zeppelin/Spark的配置。

• 检查Spark与Glue的关联配置
  确认EMR集群已经正确配置Glue作为Hive元数据存储：

  • 登录master节点，查看/etc/spark/conf/spark-defaults.conf，确保存在这行配置：

    spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory
    

  • 如果是Zeppelin的Spark interpreter，也要确认它继承了集群的Spark配置，或者在interpreter设置里手动添加了上述参数，避免Zeppelin的Spark环境没有关联Glue元数据。

• 验证数据文件格式与表定义匹配
  很多时候查表报错是因为表定义的格式和实际S3上的文件不匹配：比如表定义是Parquet，但实际是CSV，或者序列化库配置错误。你可以直接在Spark中读取S3路径测试：

  spark.read.parquet("s3://your-table-location/").show(1)
  

  把格式换成你表定义的类型（比如csv、orc），如果这步报错，说明数据文件本身有问题或者格式不匹配。

• 深挖异常日志找根因
  不要只看表面的异常信息，查看Zeppelin中完整的堆栈跟踪，重点看Caused by部分，比如如果是AccessDeniedException就是权限问题，如果是FileNotFoundException就是存储路径问题。另外也可以去EMR的/var/log/spark/目录或者CloudWatch日志组里找更详细的Spark执行日志，里面会有更清晰的错误提示。

• 确认网络与VPC访问配置
  如果你的EMR集群在私有VPC里，要确保VPC能访问Glue服务：要么配置了Glue的VPC端点，要么集群有公网访问权限（通过NAT网关）。同时检查S3桶的桶策略，确保允许EMR的角色访问对应的路径。

内容的提问来源于stack exchange，提问作者Andrey Cheptsov