如何将T-SQL的IF NOT EXISTS语句转换为Databricks PySpark代码

错误根源 #

1. PySpark SQL不支持T-SQL风格的IF NOT EXISTS流程控制语法，这是触发ParseException的直接原因。
2. 你试图从业务临时视图airports里查列存在性的逻辑完全错误，列的元数据应该从Spark的元数据系统查询，而非业务表本身。

方法一：用PySpark API直接检查（推荐） #

既然已经把DataFrame注册成了临时视图，直接通过原DataFrame的列信息判断最省事，不用写复杂SQL：

# 获取原DataFrame的列名列表
columns = df1.columns

# 列不存在时执行查询
if 'airport_region' not in columns:
    result_df = spark.sql("SELECT * FROM airports")
    # 后续按需处理结果，比如打印或保存
    result_df.show()

方法二：通过Spark SQL查询元数据表判断 #

Spark也提供了类似SQL Server的元数据查询能力，你可以查information_schema.columns判断列是否存在，再结合Python的条件逻辑执行查询：

# 查询元数据，统计目标列的存在次数
column_exists = spark.sql("""
    SELECT COUNT(*) 
    FROM information_schema.columns 
    WHERE table_name = 'airports' 
      AND column_name = 'airport_region'
""").first()[0] > 0

# 列不存在时执行查询
if not column_exists:
    result_df = spark.sql("SELECT * FROM airports")
    result_df.show()

注意点 #

• 临时视图的名称在元数据查询中区分大小写（取决于你的Spark配置），要和注册时的airports完全一致。
• Spark SQL以声明式查询为主，T-SQL里的流程控制语句没法直接套用，这类逻辑要放在PySpark代码层面实现。

内容的提问来源于stack exchange，提问作者Patterson