在Apache Spark中计算HIVE统计信息后Hive客户端无法查看的问题咨询

1. Spark收集的统计信息默认仅对自身可用 #

没错，默认情况下，Spark SQL执行ANALYZE TABLE收集的统计信息只供Spark自己的查询优化器使用，不会自动同步到Hive的元数据存储（Metastore）里。这就是为什么你在Spark里能看到统计信息，但Hive客户端查不到的核心原因——两者默认使用各自独立的统计信息体系。

2. Spark统计信息的存储位置 #

Spark的统计信息默认存在两个地方：

• 首先是Spark内置的Catalog缓存（比如默认的InMemoryCatalog），这是Spark运行时用来快速读取统计信息的内存缓存；
• 如果你的Spark配置了使用Hive Catalog（即设置spark.sql.catalogImplementation=hive），统计信息也会持久化到Spark关联的元数据存储中，但依然不会自动同步到Hive Metastore，除非你开启特定配置。

要让Spark的统计信息同步到Hive，需要开启这个关键配置：

spark.sql.statistics.hive.integration.enabled=true

你可以在提交Spark任务时通过--conf参数临时指定，或者在Spark的spark-defaults.conf配置文件里永久设置。开启之后，重新执行ANALYZE TABLE t1 COMPUTE STATISTICS，Spark就会把统计信息写入Hive Metastore，这时候Hive客户端执行DESC FORMATTED t1就能看到对应的统计数据了。

3. 关于列级统计信息的补充 #

你提到后续要计算表的所有列统计信息，同样的逻辑适用：默认情况下Spark收集的列统计也是自己独享，开启上述hive.integration.enabled配置后，列级统计也会同步到Hive Metastore。执行列统计的语句是：

ANALYZE TABLE t1 COMPUTE STATISTICS FOR ALL COLUMNS

开启同步配置后，Hive客户端也能通过DESC FORMATTED t1看到各列的统计详情（比如列的基数、最小值、最大值等）。

额外说明 #

为什么默认不同步？主要是因为Spark和Hive的统计模型、计算逻辑存在细微差异，Spark的查询优化器依赖自己的统计数据来生成最优执行计划，默认隔离可以避免两者统计信息不一致导致的优化偏差。如果你的场景需要Spark和Hive共享统计信息，开启上述配置就能完美解决问题。

内容的提问来源于stack exchange，提问作者vvg