Spark Structured Streaming运行foreachPartition时YARN容器被杀死问题

1. 依赖资源分发异常 #

本地运行时所有依赖、配置文件默认在当前classpath下，YARN cluster模式下Executor节点未拿到对应资源会触发进程崩溃：

• 检查HTTP客户端相关依赖（如OkHttp、Apache HttpClient等）是否打入提交的Fat Jar，或通过--jars参数在spark-submit时同步分发到所有Executor节点，避免Executor加载类时抛出ClassNotFoundException
• 若代码中读取了本地路径的配置文件（如接口密钥、连接参数），需改为通过--files参数提交分发，或配置到executor.extraJavaOptions中传递，避免Executor读取不存在的本地文件报错

2. 内存溢出触发YARN强制Kill容器 #

foreachPartition批量处理时如果单批次数据量过大，很容易触发堆内存溢出被NodeManager回收：

• 在流查询配置中添加maxOffsetsPerTrigger参数，限制单批次从Kafka拉取的消息总量，避免单批次数据量过载
• 拆分分区内的批量处理逻辑，不要把整个分区的数据全量加载到内存后再构造JSON payload，建议按100~1000条的固定大小拆分成分区小批次，分多次POST到REST接口，防止单个请求体过大占用过多堆内存
• 适当调大--executor-memory参数，同时确认YARN队列配置的单容器内存阈值高于设置的Executor内存，避免超出容器资源上限被强制杀死

3. HTTP调用异常未捕获导致Executor退出 #

本地测试时网络稳定、接口返回正常，集群环境下极易出现网络波动、接口限流/超时等问题，未捕获的异常会直接导致Executor进程崩溃：

• 在foreachPartition的逻辑外层添加全量异常捕获逻辑，HTTP调用的超时、连接失败、接口返回异常等场景都要做重试/降级处理，避免异常未捕获导致进程直接退出
• 给HTTP客户端显式设置连接超时、读取超时参数，避免请求长时间挂起占用连接和内存资源

4. 闭包引用非序列化对象 #

即使主类已实现Serializable接口，若闭包中引用了Driver端初始化的非序列化对象，依然会触发Executor端的序列化报错：

• HTTP客户端实例必须在foreachPartition算子内部初始化，不要在Driver端初始化后传到Executor，避免序列化传输非序列化对象导致报错

内容的提问来源于stack exchange，提问作者MightyOak