如何在Docker容器中为PySpark测试用例运行测试覆盖率并生成报告

• 第一步：确认依赖已正确装入容器镜像
  首先检查你的Dockerfile中是否存在pip install -r requirements.txt的执行步骤，且该步骤是在复制requirements.txt文件到容器之后执行。如果修改requirements.txt后未重新构建镜像，新增的依赖不会被装入镜像。
  可进入运行中的容器执行命令验证安装结果：pip list | grep coverage，如果无对应版本输出则说明依赖未安装。
• 第二步：解决Python环境不匹配问题
  你当前使用的Python路径为/opt/conda/bin/python，若安装依赖时调用的pip对应系统自带Python而非conda环境的Python，就会出现依赖安装成功但当前Python找不到模块的问题。
  将Dockerfile中的依赖安装命令修改为明确指定conda Python路径的版本：/opt/conda/bin/python -m pip install -r requirements.txt，可完全规避环境不匹配问题。
• 第三步：临时验证方案
  如需快速验证问题根因，可直接进入运行的容器手动安装依赖：/opt/conda/bin/python -m pip install coverage==6.0.2，安装完成后再执行覆盖率命令即可正常生成报告。验证通过后将修改同步到Dockerfile重新构建镜像即可。
• 第四步：PySpark覆盖率适配（可选）
  待coverage模块可正常调用后，如果出现覆盖率统计结果偏低的情况，是因为默认仅统计Driver端代码执行情况，如需统计Executor端代码覆盖情况，需要在Spark配置中添加spark.executorEnv.PYTHONPATH参数同步代码路径，并将coverage配置文件分发到所有Executor节点。

*注意：每次修改Dockerfile或requirements.txt后，必须重新执行docker build生成新镜像，再启动容器执行测试，否则修改不会生效。

内容的提问来源于stack exchange，提问作者tharindu