Spark临时表执行ANALYZE TABLE后统计信息全为NULL的问题

核心原因 #

你遇到的问题本质是临时视图不支持ANALYZE TABLE统计信息收集：

• 用createOrReplaceTempView创建的titanic是临时视图，它只是Spark会话内的临时查询逻辑映射，没有绑定持久化的存储元数据，Spark无法为其保存统计信息，因此执行Analyze table后所有统计字段都显示NULL。
• 而create table newtitanic as select * from titanic创建的是持久化表（默认是内部表），这类表有对应的物理存储和元数据记录，ANALYZE TABLE可以正常计算并保存列统计信息，所以能返回有效结果。

正确操作方式 #

如果需要对原数据集收集统计信息，可选择以下两种方式：

1. 直接对DataFrame调用统计API（Spark 2.3及以上版本支持）

// 获取指定列的统计信息
val nameStats = df2.stat.colStats("Name")
// 打印统计结果
println(s"最小值: ${nameStats.min}, 最大值: ${nameStats.max}, 非空值数量: ${nameStats.count}")

2. 创建持久化表后执行ANALYZE TABLE

// 创建持久化表
spark.sql("create table titanic_persist as select * from titanic")
// 收集全列统计信息
spark.sql("Analyze table titanic_persist compute statistics for all columns")
// 查看列统计
spark.sql("desc extended titanic_persist Name").show(false)

内容的提问来源于stack exchange，提问作者Chhavi Bansal