为何在Databricks中使用DataFrame后无法直接用PySpark/Spark SQL查询？

为什么直接用SELECT * FROM df无法生效？ #

PySpark的DataFrame是Python API层面的内存对象，而Spark SQL是独立的SQL查询引擎，它只能识别注册到Spark元数据目录中的实体（比如视图、表）。你定义的df只是Python代码里的变量，Spark SQL引擎根本不知道这个变量的存在，自然无法直接查询。

而createOrReplaceTempView('df_view')的作用，就是把DataFrame对应的数据集注册成Spark元数据中的临时视图，让SQL引擎能找到并查询这个数据集。

除了createOrReplaceTempView，还有这些方法可以让Spark SQL访问DataFrame数据： #

• 创建全局临时视图：使用df.createOrReplaceGlobalTempView('global_df_view')，这个视图在Spark集群的所有会话中都能访问，查询时需要加前缀global_temp.，比如SELECT * FROM global_temp.global_df_view。适合跨Notebook或跨会话共享数据的场景。
• 创建永久表：如果需要长期保留数据的可查询性，可以用df.write.saveAsTable('permanent_table')，表会被存储到指定的 metastore（比如Databricks的Unity Catalog或Hive Metastore），后续任何会话都能直接通过表名查询，不需要重新加载数据。
• 直接从存储路径创建临时表：不需要先加载成DataFrame，直接用Spark SQL语句创建临时表：

  CREATE TEMPORARY TABLE temp_json_table
  USING JSON
  LOCATION 'abfss://raw@estudos.dfs.core.windows.net/raw_files/'
  

  之后就能直接查询SELECT * FROM temp_json_table。
• 使用createTempView：和createOrReplaceTempView类似，但如果同名视图已存在会抛出错误，适合需要避免意外覆盖视图的场景。

额外建议 #

• 如果只是临时在当前会话查询，优先用createOrReplaceTempView，轻便灵活；
• 跨会话共享用全局临时视图，但注意全局视图会在集群重启后消失；
• 长期存储或需要权限管控的数据，用永久表配合Unity Catalog或Hive Metastore管理；
• 在Databricks中，也可以结合%sql魔法命令和DataFrame的临时视图快速做交互式查询。

内容的提问来源于stack exchange，提问作者Roberto Tosta