如何在Databricks中实现T-SQL的IF EXISTS条件插入逻辑？

你提供的T-SQL核心逻辑是：检查CONFIG.SnapshotDateTables表中是否存在记录，满足「SnapshotDate日期加1天后等于当前系统日期」，若存在则执行向DWH.F_TIMESHEET_FREEZE表插入数据的操作。以下是在Databricks中分别用SQL和PySpark实现的方案：

一、Databricks SQL实现 #

Databricks SQL支持条件分支语法，可直接通过变量判断+IF语句实现：

-- 1. 检查条件是否满足，将结果存入变量
SET condition_met = (
    SELECT EXISTS(
        SELECT 1 
        FROM CONFIG.SnapshotDateTables 
        WHERE date_add(CAST(SnapshotDate AS DATE), 1) = CURRENT_DATE()
    )
);

-- 2. 若条件满足则执行INSERT
IF ${condition_met} THEN
    INSERT INTO DWH.F_TIMESHEET_FREEZE
    -- 此处补充你的插入列和数据逻辑，示例：
    -- SELECT column1, column2 FROM your_source_table;
END IF;

说明：

• date_add是Databricks中对应T-SQLDATEADD的日期函数
• CURRENT_DATE()返回当前系统日期，等价于T-SQL中CAST(GETDATE() AS DATE)的效果

二、PySpark实现 #

通过PySpark的SQL查询判断条件，再用Python分支逻辑执行插入：

from pyspark.sql import SparkSession

# 初始化SparkSession（若在Databricks notebook中可省略此步）
spark = SparkSession.builder.appName("ConditionalInsert").getOrCreate()

# 执行条件检查
condition_result = spark.sql("""
    SELECT EXISTS(
        SELECT 1 
        FROM CONFIG.SnapshotDateTables 
        WHERE date_add(CAST(SnapshotDate AS DATE), 1) = CURRENT_DATE()
    ) AS is_met
""").first()

# 若条件满足则执行插入操作
if condition_result["is_met"]:
    # 替换为你的实际插入逻辑，示例：
    # 方式1：从源表读取数据插入
    # source_df = spark.sql("SELECT col1, col2 FROM your_source_table")
    # source_df.write.mode("append").saveAsTable("DWH.F_TIMESHEET_FREEZE")
    
    # 方式2：直接执行INSERT语句
    spark.sql("""
        INSERT INTO DWH.F_TIMESHEET_FREEZE
        -- 补充列和数据，示例：
        -- VALUES ('value1', 'value2')
    """)

内容的提问来源于stack exchange，提问作者Greencolor