如何使用Python将批处理源简单追加至Databricks DLT表？

DLT的核心逻辑是通过装饰器定义表并返回Spark DataFrame，确实无法直接使用df.write这类API。要实现批处理源的简单追加，只需利用DLT装饰器的内置配置即可，具体方案如下：

基础实现：用@dlt.table的mode参数指定追加模式 #

直接在@dlt.table装饰器中设置mode="append"，DLT会自动将返回的批处理DataFrame追加到目标表（表不存在时自动创建）。示例代码：

import dlt

@dlt.table(
    name="target_dlt_table",
    mode="append"  # 核心配置：指定写入模式为追加
)
def load_and_append_batch_data():
    # 读取你的批处理数据源（示例为CSV，可替换为Parquet、JDBC等）
    batch_df = spark.read.format("csv")\
        .option("header", "true")\
        .load("/dbfs/path/to/your/batch/source")
    
    # 返回DataFrame，DLT自动完成追加写入
    return batch_df

进阶：处理Schema不匹配场景 #

如果批处理源的Schema可能发生变化，可通过table_properties开启Schema自动合并，避免写入失败：

import dlt

@dlt.table(
    name="target_dlt_table",
    mode="append",
    table_properties={"delta.mergeSchema": "true"}  # 开启Schema自动合并
)
def load_and_append_batch_data():
    batch_df = spark.read.format("csv")\
        .option("header", "true")\
        .load("/dbfs/path/to/your/batch/source")
    return batch_df

关键说明 #

• DLT的mode参数支持append/overwrite/ignore/error四种模式，和Spark DataFrame Writer的模式语义一致
• 每次运行DLT流水线时，该函数返回的批处理数据都会被追加到目标表中
• 无需手动管理表的创建，DLT会自动处理表的初始化（第一次运行时）和后续的追加操作

内容的提问来源于stack exchange，提问作者Luke88