Databricks PySpark训练CatBoostClassifier遇Java参数列表过长错误

问题确认 #

该问题可在Databricks Runtime 12.0 ML（Spark 3.3.1、Scala 2.12）环境下，使用CatBoost Spark 1.1.1版本复现：训练时触发Argument list too long错误，本质是JVM启动命令行参数长度超出系统限制。

核心原因 #

CatBoost Spark 1.1.1在启动训练worker进程时，会将大量Spark配置参数直接传递给新Java进程，导致命令行参数总长度超过Unix-like系统的默认上限，进而抛出IO异常。

解决方案 #

1. 升级CatBoost Spark版本（最优方案） #

CatBoost在1.2.0版本中修复了该参数过长问题，优化了worker进程启动逻辑，不再传递冗余配置。修改SparkSession的jar包依赖配置：

spark = (SparkSession.builder
  .master("local[*]")
  .config(
          "spark.jars.packages", 
          "ai.catboost:catboost-spark_3.3_2.12:1.2.0")
    .config("spark.executor.cores", "2")
    .config("spark.task.cpus", "2")
    .config("spark.driver.memory", "2g")
    .config("spark.driver.memoryOverhead", "2g")
    .config("spark.executor.memory", "2g")
    .config("spark.executor.memoryOverhead", "2g")
    .getOrCreate()
)

2. 过滤冗余Spark配置（临时兼容方案） #

若暂时无法升级版本，可通过CatBoost的专属配置过滤不必要的参数传递，减少命令行长度：

spark = (SparkSession.builder
  .master("local[*]")
  .config("spark.jars.packages", "ai.catboost:catboost-spark_3.3_2.12:1.1.1")
  .config("spark.catboost.spark-config-filter", "spark.executor.*,spark.driver.*")  # 仅传递核心配置
  .config("spark.executor.cores", "2")
  .config("spark.task.cpus", "2")
  .config("spark.driver.memory", "2g")
  .config("spark.driver.memoryOverhead", "2g")
  .config("spark.executor.memory", "2g")
  .config("spark.executor.memoryOverhead", "2g")
  .getOrCreate()
)

3. 简化测试场景（临时缓解） #

在测试环境中，可通过减少数据分区数、简化特征向量维度的方式临时降低参数长度，但此方法仅适用于快速验证，无法解决生产环境的根本问题。

验证方式 #

应用上述方案后重新执行训练代码，若classifier.fit(trainPool)能正常完成并生成模型，则问题已解决。

内容的提问来源于stack exchange，提问作者cesilro