PySpark执行代码报错No module named coverage_daemon，求排查方案

问题背景 #

执行以下PySpark代码时触发报错：

import ast
rddAlertsRdd = df.rdd.map(lambda message: ast.literal_eval(message['value']))
rddAlerts= rddAlertsRdd.collect()

报错信息：No module named coverage_daemon

当前环境版本：

• Spark: 3.3.1
• Hadoop: 2.7
• Python: 3.7
• Pyspark: 3.3.1
• Py4j: 0.10.9.5
• OpenJDK: 8

排查与解决步骤 #

1. 确认是否真的需要coverage_daemon依赖 #

coverage_daemon并非Spark/PySpark的默认依赖，先检查：

• 代码中是否直接/间接导入了coverage或coverage_daemon模块（包括自定义函数、UDF或项目依赖的第三方库）
• 如果是误引入相关代码，直接删除即可解决问题

2. 安装缺失的依赖（若确实需要） #

如果业务代码或依赖库需要该包，需确保**所有Spark节点（Driver+Executor）**都安装：

• 在节点上直接执行：

  pip install coverage-daemon
  

• 若使用Docker部署，修改Spark镜像的Dockerfile，添加安装步骤：

  RUN pip install coverage-daemon
  

3. 确保Spark执行环境的一致性 #

• 检查PYSPARK_PYTHON、PYTHONPATH等环境变量是否正确配置，保证Driver和Executor使用的Python环境一致
• 可通过在Executor节点执行pip list命令，验证coverage-daemon是否已成功安装

4. 排除版本兼容性问题 #

你的环境组合（Spark3.3.1 + Python3.7 + Hadoop2.7）属于官方兼容范围，该报错大概率与版本无关，无需调整核心组件版本

内容的提问来源于stack exchange，提问作者Paulo Barbosa