如何对多个Spark Structured Streaming DataFrame执行union并设置统一水印

你遇到的单流输出问题是不符合Spark Structured Streaming union操作的约束规则导致的：

执行union合并的多个流DataFrame，必须各自预先配置相同字段、相同阈值的水印，否则Spark无法正确跟踪多路流的事件时间、推进全局水印，最终只会输出最先流入数据的单流内容，另一路流的数据会被判定为延迟丢弃或阻塞不输出。

你当前的写法是在union之后才统一设置水印，该水印规则无法作用到两个独立流的事件时间跟踪逻辑中，因此出现异常。

修改配置顺序，先给每一个子流设置完全相同的水印规则，再执行union操作即可，示例代码如下：

# 每个独立流提前配置统一规则的水印
df1 = socket_streamer(spark, topic1).withWatermark("timestamp", "5 minutes")
df2 = socket_streamer(spark, topic2).withWatermark("timestamp", "5 minutes")

# 再执行合并操作，优先使用unionByName避免字段顺序错位问题
union_df = df1.unionByName(df2)

• 所有待合并的流，水印字段名、延迟阈值必须完全一致，不能出现参数差异
• 合并完成后的流会自动继承统一的水印推进规则，无需重复调用withWatermark
• 如果合并后仍出现数据缺失，优先检查两个流的水印字段类型是否一致（必须为TimestampType）、字段名是否拼写错误

内容的提问来源于stack exchange，提问作者Donsitoz