如何在Databricks中配置Spark与DLT管道并调整流消息上限

• 首先明确：你之前尝试的spark.sql.autoBroadcastJoinThreshold参数不适用，该参数用于控制Spark SQL广播表的最大阈值，和流消息大小限制完全无关。

正确参数与配置步骤 #

控制DLT管道流处理批次最大大小的参数为spark.databricks.delta.live.table.streaming.maxBytesPerBatch，默认值为10MB（10485760字节），要翻倍到20MB可按以下步骤配置：

1. 登录Azure门户，进入目标Databricks工作区，打开对应的DLT管道。
2. 点击编辑进入管道配置界面，滚动到「集群配置」区域。
3. 在「Spark配置」输入框中添加参数：

   spark.databricks.delta.live.table.streaming.maxBytesPerBatch 20971520
   

   或者更直观的写法：

   spark.databricks.delta.live.table.streaming.maxBytesPerBatch 20mb
   

4. 保存配置后重启DLT管道，新配置即可生效。

补充说明 #

如果你的DLT管道数据源是Kafka等消息队列，除了上述参数外，可能还需要调整对应数据源的拉取大小参数（例如Kafka的max.partition.fetch.bytes），但针对DLT原生流处理场景，上述参数已足够满足调整批次最大大小的需求。

内容的提问来源于stack exchange，提问作者Bartek