PySpark 3.5.1依赖JAR包漏洞修复求助：requirements.txt无法处理子依赖

方法1：手动替换PySpark安装目录中的漏洞JAR包 #

PySpark的Python包内部自带依赖JAR，直接替换即可：

• 找到Python环境里PySpark的安装路径，一般在site-packages/pyspark/jars/下
• 下载对应依赖的安全版本JAR（比如avro-ipc换1.11.3+、jackson-mapper-asl换1.9.14+，提前确认和PySpark 3.5.1兼容）
• 删除原有漏洞JAR，把新JAR放进去
• CI/CD里可以写脚本自动化这个操作，比如用find定位路径，wget下载安全版JAR替换

方法2：运行时指定自定义JAR覆盖默认版本 #

不修改PySpark原包，在启动Spark时指定安全JAR优先级：

• 把安全版JAR放到项目固定目录（比如./spark-custom-jars/）
• 初始化SparkSession时通过参数指定：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("YourProjectApp") \
      .config("spark.jars", "./spark-custom-jars/avro-ipc-1.11.3.jar,./spark-custom-jars/jackson-mapper-asl-1.9.14.jar") \
      .getOrCreate()
  

• 或者用spark-submit命令提交时指定：

  spark-submit --jars ./spark-custom-jars/avro-ipc-1.11.3.jar,./spark-custom-jars/jackson-mapper-asl-1.9.14.jar your_main_script.py
  

Spark会优先加载你指定的JAR，覆盖自带的漏洞版本

方法3：构建自定义PySpark包（长期维护首选） #

如果需要重复解决这类依赖问题，可以自己打包安全版PySpark：

• 下载官方PySpark 3.5.1的源码或wheel包
• 替换包内jars/目录下的漏洞JAR
• 重新打包成wheel文件，上传到你们内部的PyPI仓库（比如Nexus）
• 项目直接安装这个自定义包，CI/CD安装时就自动用修复后的版本

方法4：推动官方修复（根治问题） #

如果这些漏洞是Spark官方依赖未更新导致的，去Spark的Issue Tracker提交报告，催促官方在3.5.x小版本中升级这些依赖，后续升级PySpark小版本就能自然解决问题

内容的提问来源于stack exchange，提问作者PremKumarR