如何在Delta Lake中实现CreateOrReplaceTempView等效操作，无需写入即可用SQL做ETL？

1. 复用createOrReplaceTempView直接操作Delta DataFrame #

不管源数据是Delta还是Parquet，只要加载成Spark DataFrame，就能用createOrReplaceTempView（或createOrReplaceGlobalTempView）创建临时视图，完全兼容Spark SQL和%%sql魔法命令，和你之前的Parquet流程逻辑一致：

# 从ADLS Gen2加载Delta数据到DataFrame
delta_df = spark.read.format("delta").load("abfss://container@account.dfs.core.windows.net/path/to/source-delta")
# 创建临时视图
delta_df.createOrReplaceTempView("temp_delta_view")

之后直接用SQL执行ETL：

%%sql
SELECT col1, SUM(col2) AS total
FROM temp_delta_view
WHERE col3 = 'active'
GROUP BY col1

中间结果无需落地到数据湖，仅在Spark会话内存中处理，最终可将结果写入Hive Metastore的Delta表。

2. 用SQL CTE直接读取Delta路径，无需创建视图 #

如果不想显式创建DataFrame或临时视图，可直接在Spark SQL中通过delta.前缀读取ADLS上的Delta数据，结合CTE完成链式ETL：

WITH raw_data AS (
    SELECT * FROM delta.`abfss://container@account.dfs.core.windows.net/path/to/source-delta`
),
cleaned_data AS (
    SELECT col1, col2, DATE_TRUNC('day', event_time) AS event_date
    FROM raw_data
    WHERE status = 'valid'
),
aggregated_data AS (
    SELECT event_date, COUNT(*) AS record_count
    FROM cleaned_data
    GROUP BY event_date
)
-- 直接将结果写入Hive Metastore的Delta表，跳过中间落地
INSERT INTO LakeHouseDB.target_delta_table
SELECT * FROM aggregated_data

这种方式完全用SQL完成端到端ETL，无需编写Python/Scala代码处理DataFrame。

3. 创建临时Delta表（Spark 3.2+） #

若需要多次复用中间Delta格式的结果，可创建会话绑定的临时Delta表，数据不会持久化到ADLS，仅存储在Spark临时存储中：

-- 直接用SQL创建临时Delta表
CREATE OR REPLACE TEMPORARY VIEW temp_delta_table
USING delta
AS SELECT col1, col2, col3 FROM delta.`abfss://container@account.dfs.core.windows.net/path/to/source-delta`;

-- 多次复用该临时表执行ETL
SELECT col1, AVG(col2) FROM temp_delta_table GROUP BY col1;
SELECT col3, COUNT(*) FROM temp_delta_table WHERE col2 > 100 GROUP BY col3;

或者通过DataFrame创建临时Delta表：

delta_df = spark.read.format("delta").load("abfss://...")
-- 写入临时数据库，会话结束自动销毁
delta_df.write.format("delta").mode("overwrite").saveAsTable("temp.temp_delta_table")

关键说明 #

• 你提到的DeltaTable API是Python/Scala专属的，但以上SQL方案完全可以替代其ETL场景，无需依赖该API。
• 所有中间步骤的数据都不会落地到ADLS，仅在Spark会话生命周期内存在，最终仅需将ETL结果写入Hive Metastore的Delta表即可。

内容的提问来源于stack exchange，提问作者Psychotechnopath