如何解决Linux下conda安装指定版本pyspark报InvalidVersionSpecError及依赖冲突？

• 所用的conda 4.5.12为2018年发布的旧版本，原生支持的元数据解析规则，无法适配近年conda-forge频道更新的新版元数据格式，报错conda.exceptions.InvalidVersionSpecError: Invalid version spec: =2.7本质是旧版本conda解析本地缓存的新格式频道元数据时，无法识别合法版本字段抛出的异常，与pyspark包本身的版本合法性无关。
• 此前安装可正常运行，是因为当时conda-forge的元数据格式与当前旧版conda完全兼容；近期元数据格式迭代后，旧版求解器直接失效。
• 调整安装顺序后出现numpy、scipy依赖不满足，是因为conda求解器在单独安装pyspark时，自动匹配了适配最新版conda的依赖版本组合，与你预先指定的numpy1.14.3、scipy1.1.0的固定版本锁不兼容。

第一步：清理损坏的本地频道元数据缓存 #

清除旧版本conda缓存的、格式不兼容的频道元数据，避免求解时反复读取出错：
conda clean -i -y

第二步：绕开conda-forge新元数据格式安装pyspark #

因为报错完全来自旧conda对conda-forge新元数据的解析bug，可通过两个方式绕开：

• 优先尝试从Anaconda官方默认频道安装同版本pyspark，完全避开conda-forge的新格式元数据：
  conda install -q -y -c anaconda pyspark==2.3.1
• 如果默认频道没有对应版本的linux-64安装包，安装时加参数禁止求解器更新缓存的元数据，直接用本地旧的兼容缓存解析依赖：
  conda install -q -y -c conda-forge --use-local-cache pyspark==2.3.1

第三步：匹配固定版本的依赖解决顺序冲突 #

为了避免安装pyspark后再装numpy、scipy出现依赖版本不兼容，不要调整原安装序列的顺序，将pyspark安装步骤的依赖绑定逻辑做调整，同时把关联的固定版本依赖和pyspark放在同一批conda install命令里一次性求解：

• 替换原序列里单独安装pyspark的命令为：
  conda install -q -y -c conda-forge -c cvxgrp pyspark==2.3.1 numpy==1.14.3 scipy==1.1.0 ecos==2.0.5 cvxpy==1.0.6
• 同一批提交所有固定版本的依赖，conda求解器会自动匹配所有版本都兼容的包组合，不会出现拆分安装时的版本错位问题。

兜底备用方案 #

如果上述conda安装操作仍然触发元数据解析报错，可以直接在当前激活的utilization_venv虚拟环境中用pip安装对应版本，绕开conda的求解逻辑：
pip install pyspark==2.3.1
pip install findspark==1.3.0

内容的提问来源于stack exchange，提问作者saravan