如何在同一笔记本中实现Spark流作业顺序执行，确保上游完成后再启动下游流

Spark的writeStream默认是异步执行的：调用完链式的写流方法后，代码不会等待流任务真正运行完成，会立刻继续执行后续逻辑，返回的是一个StreamingQuery句柄对象。你之前尝试用awaitTermination没效果，本质是因为两个流的启动逻辑完全并行，没有在两个流的启动环节插入等待的阻断点，导致query2初始化读Delta流的时候，query1还没开始写入本次的数据，流消费的起始offset就固定在了query1写入之前的位置，自然读不到本次新增的数据。

只要严格按照「启动第一个流 → 等待第一个流完全执行终止 → 再初始化并启动第二个流」的顺序写代码，就能在同一笔记本内实现流任务的串行执行，不需要拆分成两个独立作业：

• 必须接住第一个流writeStream返回的StreamingQuery对象，不要链式调用后直接丢弃返回值
• 在第一个流启动完成后，立刻调用对应句柄的awaitTermination()方法，阻断主线程的后续执行，直到第一个流的所有批次执行完成、流自动终止（因为你用的是trigger(once=True)，流跑完当前批次就会自动退出，不会出现永久阻塞的问题）
• 关键注意点：所有和第二个流相关的代码（包括初始化Delta表的readStream、构建转换逻辑、启动writeStream），必须放在awaitTermination()的阻断点之后再写。如果在等待第一个流跑完之前就初始化了第二个流的Delta读流，它的消费offset会被提前记录，哪怕后面第一个流写完数据，也会跳过本次新增的内容。

def main():
    # 1. 读取EventHub数据源
    metricbeat_df = spark \
        .readStream \
        .format("eventhubs") \
        .options(**eh_conf) \
        .load()

    # 2. 启动第一个流，保存返回的query句柄
    query1 = metricbeat_df.writeStream \
        .trigger(once=True) \
        .format("delta") \
        .partitionBy("year", "month", "day") \
        .outputMode("append") \
        .option("checkpointLocation", "dbfs:/...") \
        .queryName("query1") \
        .table("my_db.raw_events")

    # 3. 阻断代码执行，等query1完全跑完所有数据、终止后再继续往下走
    query1.awaitTermination()

    # ——— 以下逻辑全部在query1终止后再初始化，保证能读到本次写入的数据 ———
    # 4. 从Delta表读取第一个流落库的全量本次数据
    metricbeat_parsed_df = spark.readStream \
        .format("delta") \
        .option("ignoreDeletes", True) \
        .table("my_db.raw_events")
  
    # 在这里补充数据转换逻辑
    # ...

    # 5. 启动第二个流，写入结果表
    query2 = metricbeat_parsed_df.writeStream \
        .trigger(once=True) \
        .format("delta") \
        .partitionBy("year", "month", "day") \
        .outputMode("append") \
        .option("checkpointLocation", "dbfs:/...") \
        .queryName("query2") \
        .table("my_db.joined_bronze_events")

    # 可选：等第二个流跑完后再退出，避免主线程提前结束导致任务中断
    query2.awaitTermination()

• 不要以为链式调用writeStream的代码行执行完，流就跑完了：Spark只是做了流任务的注册和异步启动，主线程不会阻塞等待，这也是之前两个流并行启动的根本原因
• 不要在等待第一个流完成前提前初始化第二个流的读流逻辑，否则checkpoint里记录的消费位置会固定在query1写入之前，导致数据漏读

内容的提问来源于stack exchange，提问作者jrip