Delta Live Tables：如何缩小微批处理的规模？

可以通过以下两种方式在Delta Live Tables（DLT）中限制微批处理的规模，对应你提到的Spark Structured Streaming配置：

1. 管道全局配置 #

在DLT管道的设置界面中，通过添加Spark配置参数来全局控制所有表的微批规模：

• 进入管道的Advanced设置，找到Spark configuration区域
• 添加以下键值对（对应你需要的限制值）：

  spark.sql.streaming.maxFilesPerTrigger 100
  spark.sql.streaming.maxBytesPerTrigger 104857600
  

  这两个参数分别对应Structured Streaming中的maxFilesPerTrigger和maxBytesPerTrigger，会作用于管道内所有的流处理表。

2. 单表级配置（优先级更高） #

如果只想针对某个特定的DLT表设置微批限制，可以在表定义中通过TBLPROPERTIES指定参数，覆盖全局配置：

CREATE LIVE TABLE processed_orders
TBLPROPERTIES (
  "spark.sql.streaming.maxFilesPerTrigger" = "100",
  "spark.sql.streaming.maxBytesPerTrigger" = "104857600"
)
AS SELECT * FROM LIVE.raw_orders;

DLT底层基于Spark Structured Streaming，所以这些配置的作用逻辑和原生流处理一致，只是需要通过DLT特有的配置方式来传递参数。

内容的提问来源于stack exchange，提问作者skolukmar