如何将PySpark命令转换为SQL并查看？原R库Sparkly曾有类似功能

有两种常用的内置方法可以将PySpark DataFrame操作转换为对应的SQL语句：

方法一：通过临时视图+EXPLAIN EXTENDED获取生成的SQL #

1. 先将目标DataFrame注册为临时视图
2. 执行EXPLAIN EXTENDED语句查看详细执行计划，其中会包含生成的标准SQL

示例代码：

from pyspark.sql import functions as F

# 定义你的PySpark操作
df = spark.table("this_table").filter(F.col("first_col")>100).select("second_col", "third_col")

# 注册临时视图
df.createOrReplaceTempView("temp_query_view")

# 查看生成的SQL
spark.sql("EXPLAIN EXTENDED SELECT * FROM temp_query_view").show(truncate=False)

执行后，输出结果里的Generated SQL:部分会显示：

SELECT second_col, third_col FROM this_table WHERE first_col > 100

方法二：通过DataFrame的Java API直接获取逻辑计划 #

利用PySpark DataFrame的_jdf属性调用底层Java API，直接获取解析后的逻辑计划（结构接近SQL）：

示例代码：

print(df._jdf.queryExecution().parsedPlan().toString())

输出结果类似：

Project [second_col#0, third_col#1]
+- Filter (first_col#2 > 100)
   +- Relation[this_table]

关于你提到的R语言Sparklyr库，对应的功能是show_query()函数，用法如下：

library(sparklyr)
df <- spark_read_table(sc, "this_table") %>% filter(first_col > 100) %>% select(second_col, third_col)
show_query(df)

该函数会直接输出对应的SQL语句，和你需要的效果一致。

内容的提问来源于stack exchange，提问作者Ulysse Colonna