Apache Spark执行器因Python警告停滞：原因及配置优化咨询

我之前在EMR Spark 2.3.x的环境里碰到过几乎一模一样的问题，咱们来一步步拆解原因和解决办法：

为什么会出现这种现象？ #

1. Spark 2.3.0的Python进程管道缓冲区限制：Spark Executor和Python Worker进程之间是通过管道通信的。当Pandas持续输出大量警告时，这些信息会填满管道的缓冲区，导致Python Worker进程被阻塞——因为它没法继续往缓冲区写数据，只能暂停执行。这种情况属于IO层面的挂起，不是代码抛出的异常，所以Spark不会触发明确的报错提示，看起来就像“静默停止”了。
2. 重复警告的堆积效应：你的场景里as_matrix的弃用警告在批量处理中被反复触发，每个Executor累计收到数十条后，输出量终于达到了缓冲区的临界值，直接导致进程停滞。
3. Python 2.7的多进程警告处理坑：Python 2.7的warnings模块在多进程环境（Spark Executor是多进程模式）下，本身就有输出同步的问题，会让警告堆积得更快，进一步加剧了缓冲区的占用。

可以调整哪些Spark配置来解决？ #

以下配置可以通过EMR的Spark配置界面添加，或者提交任务时用--conf参数指定：

• 直接禁用FutureWarning（最省心的方案）：
  通过设置Executor的环境变量，让Python忽略所有Pandas的FutureWarning，从源头切断警告输出：

  spark.executorEnv.PYTHONWARNINGS="ignore::FutureWarning"
  

  要是你不想全局忽略，只想针对Pandas的这个警告，可以更精准地配置：

  spark.executorEnv.PYTHONWARNINGS="ignore::FutureWarning:pandas.core.frame.DataFrame"
  

• 增大Python Worker的内存配额：
  调整Python Worker的内存分配，间接提升输出缓冲区的可用空间，降低被填满的概率：

  spark.python.worker.memory=512m
  

  默认值一般是256m，你可以根据集群的资源情况适当调整。

• 降低Executor的日志级别：
  减少无关日志的输出，避免和警告信息抢缓冲区空间：

  spark.executor.extraJavaOptions="-Dlog4j.logger.org.apache.spark=WARN"
  

  这个配置把Spark Executor的日志级别从默认的INFO降到WARN，能砍掉不少非必要的日志输出。

• 把警告重定向到本地文件：
  让Python的警告信息写入Executor节点的本地文件，而不是输出到标准错误流（这样就不会阻塞管道了）：

  spark.executorEnv.PYTHONWARNINGS="log:/tmp/pandas_warnings.log"
  

  注意：要确保Executor节点的/tmp目录有足够空间，后续记得清理这些日志文件，避免占满磁盘。

额外的代码层面小技巧（可选） #

如果不想依赖配置修改，也可以在你的PySpark代码里加一段，在Pandas层面忽略特定警告：

import warnings
from pandas import FutureWarning

warnings.filterwarnings("ignore", category=FutureWarning, module="pandas")

要注意的是，这段代码得在每个Executor的Python进程里都执行到——比如放在mapPartitions这类分布式操作的函数内部。

内容的提问来源于stack exchange，提问作者Vyacheslav Zotov