Hive迁移至AWS EMR后查询返回全NULL问题求助

针对Hive从EC2迁移到EMR后，查询表返回全NULL的问题，可从以下方向逐一排查：

1. S3协议适配问题 #

原表使用s3a://协议，新表改为s3://。EMR上Hive对不同S3协议的底层实现不同：

• 尝试将新表LOCATION改回s3a://prodbucket/hive_folder/hive_database.db/hive_database_ABC，重建表后执行查询。
• 若坚持使用s3://，检查EMR集群hive-site.xml中的fs.s3.impl参数是否为com.amazonaws.services.s3.AmazonS3Client，确保启用AWS SDK支持的S3客户端。

2. 数据迁移完整性验证 #

确认新S3桶内的ORC文件是否完整迁移：

• 用AWS CLI对比新旧桶的文件信息：

  # 查看新桶文件
  aws s3 ls s3://prodbucket/hive_folder/hive_database.db/hive_database_ABC/ --recursive
  # 查看原桶文件
  aws s3 ls s3a://oldprodbucket/hive_folder/hive_database.db/hive_database_ABC/ --recursive
  

• 在EMR集群内验证文件可访问性：

  hadoop fs -ls s3://prodbucket/hive_folder/hive_database.db/hive_database_ABC/
  

  若无法列出文件，说明路径或权限存在问题。

3. 表元数据与统计信息修复 #

原表TBLPROPERTIES中numFiles=0、numRows=-1为无效统计信息，可能导致Hive误判无数据：

• 修复表元数据：

  MSCK REPAIR TABLE abc;
  

• 重新计算表统计信息：

  ANALYZE TABLE abc COMPUTE STATISTICS;
  

4. ORC版本与Hive兼容性检查 #

原EC2的Hive版本与EMR的Hive版本差异可能导致ORC文件解析失败：

• 查看原Hive版本：hive --version，对比EMR控制台显示的Hive版本。
• 若版本差异较大，可在EMR上使用原Hive版本客户端重新读取数据并写入新表，或设置orc.write.format.version参数匹配原ORC文件版本。

5. IAM权限验证 #

EMR集群服务角色需具备新S3桶的访问权限：

• 检查IAM角色是否包含以下权限策略：

  {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
          "arn:aws:s3:::prodbucket",
          "arn:aws:s3:::prodbucket/*"
      ]
  }
  

• 在EMR节点上测试权限：

  aws s3 cp s3://prodbucket/hive_folder/hive_database.db/hive_database_ABC/[具体ORC文件名] /tmp/test.orc
  

  若下载失败，需调整IAM角色或S3桶策略。

内容的提问来源于stack exchange，提问作者Pranav