GCP Dataproc环境下External Hive表无法读取GCS Bucket数据的问题排查

Hive在创建带分区声明的外部表时，仅会把表结构、LOCATION路径这类基础元数据写入内置的元数据库，不会主动扫描LOCATION路径下已经存在的data_date=xxx格式的分区目录。当前你的表元数据里没有任何分区记录，所以才会出现show partitions返回空、全表查询无结果的现象——哪怕GCS桶里确实存了对应文件，Hive因为不知道这些分区目录的存在，根本不会去发起对应的文件读取请求。

• 首先补全缺失的分区元数据
  直接执行MSCK REPAIR TABLE my_db.my_table;即可。这个命令的作用就是自动扫描表的LOCATION根路径下所有符合分区键=分区值命名规则的子目录，把对应分区的信息补写到Hive元数据里。执行完再跑show partitions my_db.my_table，就能看到2021-03-26、2021-03-27两个已存在的分区。
• 如果执行MSCK修复后还是扫不到分区，手动挂载
  部分老版本Hive集成的GCS文件系统连接器，存在扫描云存储目录的兼容问题，没法自动识别GCS路径下的子目录，此时直接用ALTER语句手动把两个分区挂上去即可：

  ALTER TABLE my_db.my_table ADD
    PARTITION (data_date='2021-03-26') LOCATION 'gs://bucket/my_table/data_date=2021-03-26/'
    PARTITION (data_date='2021-03-27') LOCATION 'gs://bucket/my_table/data_date=2021-03-27/';
  

• 分区挂载完成后仍查不到数据时，核对配置匹配性
  • 确认分区目录下的文件实际是Tab分隔的纯文本格式，和你建表时指定的field.delim='\t'序列化规则匹配，避免因为分隔符不一致导致SerDe解析失败、返回空结果
  • 检查实际执行的建表SQL语法完整性：你贴出的建表片段存在列定义块未闭合右括号的排版疏漏，需确认建表时列定义的括号已正确闭合，避免出现元数据结构异常的隐性问题

内容的提问来源于stack exchange，提问作者ares