DLT中create_streaming_live_table生成VIEW而非Delta表的问题解决

核心原因 #

dlt.create_streaming_live_table 创建出视图而非Delta表，通常是因为代码中未向该表写入数据，或是定义时依赖了未持久化的视图/临时数据，导致DLT自动将其转为视图以优化执行逻辑。

具体修复步骤 #

1. 确保向Streaming Live Table写入流数据 #

定义表后必须通过dlt.write_stream将数据流写入该表，示例代码如下：

import dlt
from pyspark.sql.functions import *

# 定义流数据源（以Kafka为例）
@dlt.table(comment="原始员工交易流数据源")
def raw_employee_transactions():
    return spark.readStream.format("kafka") \
        .option("kafka.bootstrap.servers", "host:port") \
        .option("subscribe", "employee_transactions") \
        .load()

# 创建Streaming Live Delta表
dlt.create_streaming_live_table(
    name="employee_transaction",
    comment="持久化的员工交易Delta表",
    table_properties={
        "delta.enableChangeDataFeed": "true",  # 可选：开启CDC支持
        "delta.autoOptimize.optimizeWrite": "true"
    }
)

# 将流数据写入目标Delta表
dlt.write_stream(
    target="employee_transaction",
    source="raw_employee_transactions",
    query_name="write_employee_transactions"
)

2. 检查并修正视图依赖问题 #

如果create_streaming_live_table依赖的是@dlt.view输出，需将源改为@dlt.table（持久化Delta表），避免因依赖临时视图导致目标表被转为视图。

3. 显式声明Delta存储格式（可选） #

创建表时可通过table_properties强制指定存储格式为Delta，强化表类型约束：

dlt.create_streaming_live_table(
    name="employee_transaction",
    comment="持久化员工交易Delta表",
    table_properties={
        "spark.sql.sources.provider": "delta"
    }
)

修复验证 #

• 运行DLT流水线后，执行DESCRIBE EXTENDED my_db.employee_transaction，查看Type字段应为MANAGED或EXTERNAL（而非VIEW）。
• 执行DESCRIBE HISTORY my_db.employee_transaction，此时应能正常返回Delta表的版本历史记录。
• 同步至Unity Catalog时，确认表为Delta类型即可完成同步。

内容的提问来源于stack exchange，提问作者Yuva