如何告知PIP已安装自定义PySpark，避免重复安装？

• 安装依赖包时跳过自动安装依赖
  直接执行 pip install 目标包名 --no-deps 命令安装所需的Python包。这个参数会阻止pip自动下载并安装该包声明的所有依赖（包括PySpark）。由于你已经通过SPARK_HOME和PYTHONPATH配置了自定义构建的PySpark，目标包依然可以正常调用到它。

• 通过requirements.txt约束依赖
  如果习惯用requirements.txt管理包，有两种实用方式处理：

  1. 在目标包条目后添加--no-deps，示例如下：

     目标包名 --no-deps
     

  2. 创建约束文件（如constraints.txt），指定PySpark的版本与你的自定义版本一致，示例：

     PySpark==3.5.0  # 替换成你的自定义Spark对应的版本号
     

     安装时执行 pip install -r requirements.txt -c constraints.txt，pip会优先遵循约束，不会安装其他版本的PySpark。

• 在虚拟环境中做环境隔离
  为项目创建独立的虚拟环境，激活后先确保SPARK_HOME和PYTHONPATH配置生效（可把环境变量配置写入虚拟环境的激活脚本）。之后要么用--no-deps安装目标包，要么先给虚拟环境“打标记”让pip认为PySpark已安装：

  pip install PySpark --no-index --find-links=file:///dev/null
  

  这样pip检查依赖时会判定PySpark已存在，不会再从PyPI下载。

内容的提问来源于stack exchange，提问作者Averell