如何判断Databricks中的缓存是否已加载完成？

1. 使用Spark SQL命令直接查询缓存状态 #

• 列出所有已缓存的表/视图：

  SHOW CACHED TABLES
  

  执行后会返回所有被缓存的对象，包含表名、是否为临时视图等信息。
• 查看特定表的缓存详情：

  DESCRIBE EXTENDED your_table_name
  

  在返回结果中找到Cached字段，若值为true，则说明该表已成功缓存。

2. 通过Spark Catalog API验证（适用于代码场景） #

如果你的应用通过Python/Scala代码调用Databricks，可借助Spark Catalog方法直接检查：

• Python示例：

  # 检查特定表是否已缓存
  spark.catalog.isCached("your_table_name")
  
  # 列出所有缓存的表
  [table.name for table in spark.catalog.listCachedTables()]
  

• Scala示例：

  spark.catalog.isCached("your_table_name")
  spark.catalog.listCachedTables().map(_.name).show()
  

3. 查看Databricks集群UI的缓存统计 #

登录Databricks workspace，找到目标集群：

1. 进入集群的Storage标签页
2. 查看Cached Data区域，这里会显示缓存总大小、已使用空间、缓存命中率等指标。若目标表已被缓存，相关数值会对应增加。

4. 通过查询耗时对比验证 #

缓存生效后，重复查询同一表的耗时会大幅降低：

1. 第一次执行查询：SELECT * FROM your_table_name，记录耗时
2. 第二次执行完全相同的查询，对比两次耗时。若第二次耗时明显缩短（通常从秒级降至几十毫秒级），说明缓存已就绪并生效。

关于CACHE SELECT * FROM table无返回结果的说明 #

CACHE SELECT * FROM table的作用是将查询结果缓存为临时视图，但不会直接返回数据。你需要查询该临时视图才能看到结果，或改用CACHE TABLE your_table_name语句缓存整张表——这条语句执行完成即表示缓存加载完成（若使用LAZY关键字，缓存会在第一次查询时才触发加载）。

内容的提问来源于stack exchange，提问作者Ricardodnr