从Scala DataFrame创建S3上ORC格式分区Hive表无数据问题求助

遇到这种情况太正常了，我之前在Spark 2.x版本里也踩过这个坑！核心问题就是Hive元数据里没有同步Spark写入的分区信息，所以你建了分区表之后，Hive根本不知道S3上已经存在那些date=xxx的分区目录，自然查不到数据。下面给你几个靠谱的解决办法，按推荐程度排序：

1. 最省心：直接用Spark的saveAsTable一步创建带分区的Hive表 #

不用先写文件再手动建表，直接让Spark帮你完成数据写入+表创建+元数据同步，这是最稳妥的方式。代码改成这样：

df.write
  .mode("overwrite") // 根据需求选append/overwrite等模式
  .format("orc")
  .option("orc.compress", "snappy") // 设置ORC压缩格式
  .partitionBy("date")
  .saveAsTable("db.tableName")

这样Spark会自动在Hive元数据库里创建对应的分区表，同时把S3上的分区目录信息同步到元数据里，写完直接就能用spark.sql("select * from db.tableName")查询到数据，完全不用手动处理分区的问题。

2. 事后补救：用MSCK REPAIR TABLE同步分区元数据 #

如果你已经先写了文件到S3，又手动建了分区表，那可以用Hive的分区修复命令来让Hive自动发现S3上的分区：

MSCK REPAIR TABLE db.tableName;

你可以在Spark里执行这个SQL（spark.sql("MSCK REPAIR TABLE db.tableName")），也可以在Hive CLI/beeline里执行。执行后Hive会扫描你指定的LOCATION目录下所有符合partition_col=value格式的子目录，把这些分区信息添加到元数据里，之后就能查到数据了。

注意：如果你的S3分区目录结构不是Spark默认的date=xxx格式（比如手动修改过目录名），那这个命令可能识别不了，但Spark写分区时默认就是这种格式，所以一般没问题。

3. 手动添加分区（适合少量分区的情况） #

如果分区数量很少，你也可以手动给Hive表添加分区，比如：

ALTER TABLE db.tableName ADD PARTITION (date='2024-01-01') LOCATION 's3://your-path/date=2024-01-01/';
ALTER TABLE db.tableName ADD PARTITION (date='2024-01-02') LOCATION 's3://your-path/date=2024-01-02/';

但如果分区很多的话，这个方法就太繁琐了，不推荐。

为啥去掉PARTITIONED BY就能查到？ #

因为当你不指定分区的时候，Hive会把这个表当成普通表，扫描整个LOCATION目录下的所有ORC文件（包括子目录里的），所以能读到数据，但这样就没法利用分区表的优势了——比如查询时的分区裁剪（只扫描指定日期的分区），性能会差很多，而且元数据也没有分区信息，后续维护也麻烦。

内容的提问来源于stack exchange，提问作者ic10503