Databricks Delta Live Tables跨Delta表apply_changes报错咨询

两个核心问题，一个是对DLT apply_changes的默认行为认知偏差，一个是中间层代码写法错误直接触发报错：

• 关于raw层每次生成全量parquet的现象：这是dlt.apply_changes的默认行为，不属于异常。DLT apply_changes 做upsert时默认采用完整快照物化模式，每次更新会重写受影响分区的全量数据生成新parquet文件，并非只写入增量行。你预期的“仅存增量行、靠日志拼接版本”是Delta的读时合并能力，需要配合变更数据馈送（CDF）读取逻辑才能实现，该现象本身和后续报错无直接关联。
• 报错的直接原因是raw到intermediate层的代码存在三类错误：
  1. 基础语法错误：@dlt.table装饰器定义的V_raw_table对应函数名命名为raw_table，和上游raw表重名；代码段混入无意义乱码ezeg；table_properties配置中的键缺少引号，会直接导致DLT依赖关系解析错乱。
  2. 用法逻辑错误：DLT框架原生支持自动对接上游开启CDF的表做增量apply_changes，不需要手动编写readStream + readChangeFeed逻辑。手动读取CDF会把流元数据打乱：CDF返回的流自带_change_type、_commit_version等元字段，未做处理直接喂给下游apply_changes时，流引擎检测到上游parquet文件被重写（就是你观察到的全量parquet生成现象），就会抛出“检测到数据更新不支持”的错误。
  3. 冗余配置错误：仅做衍生列计算的中间层V_raw_table不需要开启CDF，多余配置会增加不必要的存储开销。

Landing_zone到raw_table的原有代码可正常运行，无需调整。raw_table到intermediate_table的代码替换为如下版本即可：

# 定义中间计算视图，无需手动配置CDF读取，DLT自动感知上游增量变更
@dlt.view(name='V_raw_table')
def inc_raw_cal_view():
    df = spark.readStream.table('LIVE.raw_table')
    # 填写自定义衍生列计算逻辑
    df = df.withColumn('ExtraCol', <你的转化逻辑>)
    return df

# 创建下游目标表，按需开启CDF供后续链路使用
dlt.create_target_table('intermediate_table',
                        table_properties = {'delta.enableChangeDataFeed': 'true'})

dlt.apply_changes(target='intermediate_table',
                  source='V_raw_table',
                  keys=['id'],
                  sequence_by='updated_at')

• 代码修正后首次运行前，需要清空当前管道对应的checkpoint目录，否则之前错误逻辑写入的checkpoint会导致报错复现。
• 如果需要减少raw层upsert时的全量文件重写开销，可以在raw表的建表配置中添加表属性'delta.enableDeletionVectors': 'true'，同时开启'pipelines.autoOptimize.managed': 'true'，借助删除向量和自动优化能力降低写入放大，该配置属于性能优化项，不影响功能正确性。
• 不要在DLT流逻辑中手动添加readChangeFeed、ignoreChanges这类配置，DLT会根据上下游的apply_changes配置自动选择最优增量读取策略，手动添加反而会破坏框架的自动流管理逻辑。

内容的提问来源于stack exchange，提问作者gamezone25