PySpark任务在CPU核心数超过20时无响应（冻结）问题排查求助

这真是个棘手的问题！从你做的全方位排查（Docker镜像更换、直接EC2部署、Spark版本切换、实例类型替换等等）来看，已经排除了很多常见坑，那我们可以从几个更深入的方向来分析：

1. Spark Core Configuration Mismatch with Instance vCPUs #

Spark的默认资源配置不一定能适配高核心数的实例，很可能出现资源竞争或者Driver协调能力跟不上的情况：

• 问题点：当实例vCPU超过16时，默认的spark.executor.cores/spark.executor.instances可能让每个Executor占用过多核心，或者Executor数量过多，导致Driver被系统资源抢占，无法正常调度任务。
• 建议操作：
  • 手动指定Executor配置，比如20vCPU实例可以这么设置：

    spark.executor.cores=4
    spark.executor.instances=4  # 留2核给Driver和系统进程
    spark.driver.cores=2
    

  • 检查spark.task.cpus（默认是1），确保没有被错误设置为大于1的值，否则会减少可并行的任务数。

2. S3A Client Concurrency Bottlenecks #

虽然你读的Parquet文件很小，但高核心数下Spark会启动更多任务并发访问S3，可能触发S3A客户端的隐藏阻塞问题：

• 问题点：S3A的默认连接池大小、超时设置可能无法应对高并发请求，导致线程阻塞在S3连接上。
• 建议操作：
  • 调整S3A相关配置参数：

    fs.s3a.connection.maximum=100  # 调高连接池上限，默认是15
    fs.s3a.fast.upload=true        # 启用快速上传模式
    fs.s3a.connection.timeout=30000
    fs.s3a.socket.timeout=30000
    

  • 如果是非加密S3桶，可以临时关闭SSL试试：fs.s3a.connection.ssl.enabled=false，排除SSL握手导致的阻塞。

3. System-Level Thread/Resource Limits #

高核心实例上，系统层面的线程数限制可能成为瓶颈，导致Spark无法创建足够的工作线程：

• 问题点：Linux默认的ulimit进程数限制可能偏低，当Spark启动大量Executor和任务线程时，会触发限制导致线程创建失败，进而卡住任务。
• 建议操作：
  • 登录实例执行ulimit -u查看用户最大进程数，如果低于65535，修改/etc/security/limits.conf：

    * soft nproc 65535
    * hard nproc 65535
    

  • 给Spark添加JVM内存参数，避免直接内存溢出：

    spark.driver.extraJavaOptions="-XX:MaxDirectMemorySize=4g"
    spark.executor.extraJavaOptions="-XX:MaxDirectMemorySize=4g"
    

    （数值根据实例内存调整，比如32G内存的实例可以设为8g）

4. ContextCleaner & Accumulator Issues #

你提到日志反复出现INFO ContextCleaner: Cleaned accumulator，这可能是个关键线索：

• 问题点：ContextCleaner一直在清理累加器，但某些资源无法被正确释放，导致任务陷入无限清理循环，无法继续执行。这可能和代码中大量使用累加器，或者内存配置不合理有关。
• 建议操作：
  • 检查你的PySpark代码，尽量减少不必要的自定义累加器使用，或者确保累加器在使用后被正确销毁。
  • 调整Spark内存分配比例，给执行内存留更多空间：

    spark.memory.fraction=0.8
    spark.memory.storageFraction=0.2
    

5. JVM Thread Scheduling Bugs #

高核心数的实例上，JVM的线程调度可能出现异常，比如上下文切换过于频繁或者线程饿死：

• 问题点：某些OpenJDK版本在高核心CPU下存在调度bug，导致Spark线程无法正常执行。
• 建议操作：
  • 更换JVM版本，比如从OpenJDK 8切换到OpenJDK 11，或者尝试Oracle JDK。
  • 调整GC策略，比如使用G1GC减少停顿：

    spark.driver.extraJavaOptions="-XX:+UseG1GC"
    spark.executor.extraJavaOptions="-XX:+UseG1GC"
    

额外建议 #

在20vCPU实例上运行时，开启Spark的DEBUG级日志（修改log4j.properties设置log4j.logger.org.apache.spark=DEBUG），这样能看到任务分配、S3连接的详细过程，更容易定位卡住的具体环节。

内容的提问来源于stack exchange，提问作者raissb