Hive无法读取Spark创建的Azure DLS分区数据问题排查

我来帮你拆解这个问题——在HDInsight Spark+ADLS的环境里，Spark写了分区数据但Hive查不到，这种场景我经手过不少，大概率是元数据同步、建表配置匹配度这两类问题，咱们逐个排查：

• 分区元数据未同步到Hive metastore
  Spark直接写入ADLS的分区目录时，不会自动把分区信息同步到Hive的元数据库里，Hive自然不知道这些分区存在。解决方法有两种：

  1. 批量同步所有分区（推荐）：执行Hive命令

     MSCK REPAIR TABLE test_tb;
     

     这个命令会扫描表指定的根路径，自动把所有存在的分区添加到Hive元数据中。
  2. 手动添加单个分区：如果只有少量分区，也可以逐个添加

     ALTER TABLE test_tb ADD PARTITION (partition_col='your_partition_value') 
     LOCATION 'adl://your_dls_account.azuredatalakestore.net/path/to/your/partition_col=your_partition_value';
     

• 建表语句的配置与Spark写入的格式不匹配
  这是最容易踩坑的点，要确保三个维度完全一致：

  1. 根路径匹配：建表时LOCATION必须指向Spark写入数据的根目录（也就是所有分区目录的父目录），不能指向某个具体分区。比如Spark写的路径是adl://xxx/path/year=2024/month=05，那LOCATION就得设为adl://xxx/path/。
  2. 分区列定义匹配：Hive表的分区列名、类型必须和Spark生成的分区目录名完全一致。比如Spark生成的是year=2024，Hive里就得定义PARTITIONED BY (year string)（注意大小写！ADLS是大小写敏感的，列名和目录名大小写要完全对应）。
  3. 文件格式匹配：Spark写的数据格式（比如Parquet、ORC）要和Hive建表时指定的存储格式一致。如果Spark写的是Parquet，建表时必须加上STORED AS PARQUET，否则Hive会默认用TextFile格式读取，自然读不出数据。示例正确建表语句：

     CREATE EXTERNAL TABLE test_tb (
         col1 string,
         col2 int
     )
     PARTITIONED BY (year string, month string)
     STORED AS PARQUET
     LOCATION 'adl://your_dls_account.azuredatalakestore.net/path/to/root/';
     

• 权限问题排查
  虽然你能看到ADLS上的数据，但Hive服务使用的身份（HDInsight集群的服务主体）可能没有该路径的读权限。可以在集群节点上执行以下命令验证：

  hdfs dfs -ls adl://your_dls_account.azuredatalakestore.net/path/to/root/
  

  如果返回权限错误，需要在ADLS里给集群的服务主体分配对应路径的读权限。

• 路径大小写敏感问题
  ADLS是严格大小写敏感的，哪怕是一个字母大小写不一致，Hive都识别不到分区。比如Spark写的是Year=2024，但Hive分区列定义的是year string，就会匹配失败，必须完全一致。

你可以按照这个顺序排查，先跑MSCK REPAIR TABLE试试，这是最常见的解决方法，如果不行再检查建表语句和权限。

内容的提问来源于stack exchange，提问作者Nikhil Parmar