PySpark Structured Streaming故障后停止与重启方法咨询

1. Checkpointing在任务重启时起到什么作用？ #

• 恢复流处理状态：包括已处理数据的offset、窗口聚合的中间计算结果、状态存储里的持久化数据等，确保任务重启后不会重复处理已消费的数据，也不会丢失未完成的计算进度。
• 保障Exactly-Once语义：依托checkpoint中记录的offset和状态信息，重启后能精准从上次停止的节点继续处理，避免数据重复或丢失。
• 自动恢复作业元数据：比如流作业的配置参数、数据源的连接信息等，减少重启时的重复配置操作。

2. 重启任务时是否需要调用特定方法传递offset？ #

不需要手动传递offset。只要重启时指定相同的checkpoint目录，Spark会自动从checkpoint文件中读取之前记录的offset和状态信息，直接从上次停止的位置继续处理。

注意：如果修改了checkpoint目录，或者首次启动未设置checkpoint、重启时才新增该配置，任务会从头开始消费数据。

3. 代码逻辑变更需要更新时，该如何停止任务？ #

• YARN集群环境：执行命令 yarn application -kill <application-id> 停止作业，也可以通过YARN UI找到对应作业点击Kill按钮。
• 本地/Standalone集群：直接中断运行的进程，或者在Spark UI中找到对应作业点击Stop按钮。
• 停止作业后修改代码逻辑，重新提交即可。但要注意：如果代码变更涉及Schema、状态结构（比如聚合字段调整），必须删除旧的checkpoint目录，否则会因状态不兼容导致启动失败。

内容的提问来源于stack exchange，提问作者Vidya