SparkSQL+Hive元数据场景下HDFS缓存未生效的问题排查

一、确认HDFS缓存已正确创建并生效 #

先验证表A对应的HDFS路径是否已成功缓存，执行HDFS命令：

hdfs cacheadmin -listDirectives

查看输出中是否存在目标表的存储路径（可通过DESCRIBE FORMATTED table_a;的Location字段获取），且状态为ACTIVE。若未找到缓存指令，重新创建：

# 缓存表A的完整HDFS存储路径
hdfs cacheadmin -addDirective -path /user/hive/warehouse/db.db/table_a -pool default -replication 1

二、Spark侧关键配置调整 #

在你的PySpark配置代码中，添加以下参数让Spark识别并启用HDFS缓存：

# 启用HDFS缓存感知
conf.set("spark.hadoop.fs.hdfs.impl.disable.cache", "false")
conf.set("spark.sql.hive.cache.enabled", "true")
# 关闭元数据只读优化，确保Spark检查实际数据缓存
conf.set("spark.sql.optimizer.metadataOnly", "false")
# 开启动态分区裁剪，适配分区表缓存
conf.set("spark.sql.optimizer.dynamicPartitionPruning.enabled", "true")
# 强制HDFS客户端启用缓存
conf.set("spark.hadoop.hdfs.cache.enabled", "true")

三、查询优化与缓存验证 #

1. 检查执行计划：用EXPLAIN命令查看查询计划，确认是否有InMemoryFileIndex或标注Cached的节点，这是缓存生效的标志：

EXPLAIN
SELECT <columns>,
...
FROM table_a
WHERE hour = <hour>
AND logtype = <logtype>
group by logtype;

2. 验证缓存命中：执行查询后，查看HDFS缓存的命中统计：

hdfs cacheadmin -listDirectives -stats

查看hits（命中次数）和bytesRead（缓存读取字节数）字段，确认有非零值。

四、常见问题排查 #

• 权限问题：检查Spark作业运行用户是否有HDFS缓存的访问权限，以及缓存池资源是否充足（用hdfs cacheadmin -listPools查看）。
• 分区缓存不全：确认缓存指令覆盖了查询过滤的所有分区路径，避免仅缓存部分分区导致未命中。
• 优化参数冲突：若spark.sql.adaptive.enabled开启，需确保未触发跳过缓存的自适应优化逻辑。

内容的提问来源于stack exchange，提问作者hoon2