如何列出PySpark当前会话/内存中的所有DataFrame？

嘿，这个问题问得太实用了！其实PySpark本身并没有直接提供一个内置函数来一键列出当前会话里所有赋值给变量的DataFrame，但咱们有几个非常靠谱的解决途径，我给你拆解清楚：

方法一：扫描Python命名空间识别DataFrame实例 #

既然你的DataFrame都存在Python变量里，咱们可以直接扫描当前的全局或局部命名空间，筛选出类型为DataFrame的变量。这是最直接适配你场景的方法：

from pyspark.sql import DataFrame

# 扫描全局命名空间，找出所有DataFrame类型的变量
all_dataframes = {var_name: df_obj for var_name, df_obj in globals().items() 
                  if isinstance(df_obj, DataFrame)}

# 打印所有DataFrame的变量名
print("当前内存中的DataFrame变量：", list(all_dataframes.keys()))

# 如果需要查看某个DF的结构，还可以直接调用，比如 all_dataframes["var1"].show()

这个方法的核心是利用Python的globals()（全局变量）或locals()（局部变量）函数获取所有变量，再通过isinstance()判断是否为PySpark DataFrame类型。不管你变量名是var1、var2还是其他，只要是DataFrame实例都能被揪出来。

方法二：通过Spark Catalog查看注册的临时视图 #

如果你习惯把DataFrame注册成临时视图（比如用df.createOrReplaceTempView("view_name")），那可以通过Spark会话的Catalog来列出所有已注册的视图：

from pyspark.sql import SparkSession

# 获取当前活跃的Spark会话
spark = SparkSession.builder.getOrCreate()

# 列出所有临时视图
registered_views = spark.catalog.listTables()
print("已注册的临时视图：")
for view in registered_views:
    print(f"- {view.name}")

不过要注意：临时视图和你赋值的变量是两个概念——视图是存在Spark会话中的逻辑表，而变量是Python层面的引用。如果你的DataFrame没注册成视图，这个方法就找不到它们啦。

小提醒 #

• 如果某个DataFrame变量已经被Python的垃圾回收机制清理掉（比如你手动del了变量），那globals()里就找不到它了，所以要确保变量还在有效作用域内。
• 这个方法在Jupyter Notebook、PySpark Shell等交互式环境里同样好用，完全适配你的场景。

内容的提问来源于stack exchange，提问作者user4526151