如何配置Spark Driver节点线程数 解决Too many open files报错

一、线程数量限制核心配置 #

以下配置均在提交任务时通过spark-submit参数传入，或写入spark-defaults.conf生效：

• spark.driver.cores：standalone模式下Driver进程可使用的CPU核心数，默认值为1，Spark内部多类线程池大小会参考该值自动调整，可根据Driver硬件配置设为2~4，从顶层限制线程创建规模
• spark.streaming.driver.writeAheadLog.threadPoolSize：若开启了预写日志(WAL)，该配置直接控制WAL写日志线程池大小，默认值为机器CPU核心数，手动设为1~2即可满足日志写入需求，可大幅降低非必要线程创建
• spark.rpc.threadpool.size：Spark RPC通信线程池大小，默认值为64，对于非大规模集群的Streaming任务，设为16~32足够支撑Driver与Master、Executor的通信需求
• 日志框架线程限制：在spark.driver.extraJavaOptions中加入log4j异步线程参数：-Dlog4j.appenders.async.threadSize=2，若使用异步日志Appender，该参数直接限制日志写入线程数，避免每个线程绑定独立日志文件句柄

二、文件描述符溢出专项优化 #

你观测到的每个线程独占一个文件描述符写日志的问题，核心原因大概率是日志Appender配置问题，优先确认log4j配置中所有写入本地txt的Appender为单实例多线程共享，不要配置为线程绑定的独立实例。

• 操作系统fd阈值兜底调整：修改/etc/security/limits.conf，给运行Spark任务的用户配置更高的文件描述符上限：

spark_user soft nofile 65535
spark_user hard nofile 65535

修改后重启Driver进程生效，避免临时fd峰值直接导致任务崩溃

• Kafka消费并行度控制：创建Kafka DirectStream时设置的并行度不要超过8，过高的分区并行度会导致Driver为每个分区创建独立的监控与调度线程

三、Spark 2.3.1已知线程泄漏问题修复 #

Spark 2.3.1存在长时间运行Streaming任务的Listener总线线程泄漏问题，可通过以下配置缓解：

• 配置spark.scheduler.listenerbus.eventqueue.size=10000，避免事件堆积触发新线程创建
• 在spark.driver.extraJavaOptions中加入参数-Dspark.scheduler.listenerbus.thread.pool.size=4，限制Listener总线的线程池最大容量

内容的提问来源于stack exchange，提问作者Anoop Deshpande