Palantir Foundry中xgboost.spark自定义库构建错误：跨依赖问题

核心问题定位 #

空白仓库可正常构建运行，说明问题完全源于当前仓库的依赖版本交叉冲突，尤其是foundry_ml、numpy与xgboost.spark之间的版本不匹配。

具体解决步骤 #

• 锁定XGBoost与PySpark、Foundry ML的兼容版本
  xgboost.spark的版本必须严格匹配Foundry环境的PySpark版本：

  • 若Foundry使用PySpark 3.1.x，指定xgboost==1.5.2（该版本完美适配Python3.8、Spark3.1，且与foundry_ml 3.x兼容）
  • 在requirements.txt中显式声明该版本，避免自动拉取不兼容的新版XGBoost

• 清理重复依赖并对齐Foundry官方适配版本

  • 删除依赖列表中重复的transforms条目，仅保留一个并使用Foundry推荐版本
  • 将numpy版本从1.19.5调整为numpy==1.21.6：foundry_ml v3.126.0的官方适配numpy版本为1.21.x，旧版本1.19.5会引发类型兼容问题

• 调整setuptools版本以适配旧依赖
  setuptools 65.6.3对部分旧依赖的兼容性较差，降级为setuptools==59.8.0，该版本在Foundry Python3.8环境中经过大量验证，稳定性更高

• 主动排查依赖冲突
  在Foundry仓库终端执行以下命令定位具体冲突：

  • 运行pip check，直接输出明确的依赖冲突项
  • 安装pipdeptree后执行pipdeptree --warn silence，查看完整依赖树，找到引发冲突的依赖链

• 逐步添加依赖测试
  先构建仅包含核心依赖的版本（python3.8、transforms、foundry_ml3.126.0、xgboost1.5.2、numpy==1.21.6），确认构建通过后，再逐步添加hyperopt、pyyaml等依赖，每添加一个就执行构建检查，快速定位冲突来源

内容的提问来源于stack exchange，提问作者Arnaud_3520698