如何控制PySpark中LinearSVC的并行化以缩短训练时间？

当然可以调节LinearSVC的并行化规模，以下是具体的方法和参数说明：

• 手动重分区训练数据
  你观察到训练过程中数据被重设为100个分区，这是MLlib线性模型的默认分区策略导致的。可以在训练前主动对数据集进行重分区，直接提升训练阶段的并行基数：

  # 按集群核心数的2-4倍设置分区数N
  training_data = training_data.repartition(N)
  

  这种方式类似DataFrame的repartition操作，能让训练任务启动更多并行进程。

• 调整aggregationDepth参数
  这个参数控制梯度聚合的树状深度，值越大，并行聚合的程度越高（需要对应更多内存支持）。默认值通常为2，你可以尝试调至4、8等，让梯度计算和聚合过程更充分地利用集群并行资源：

  from pyspark.mllib.classification import LinearSVCWithSGD
  svc_model = LinearSVCWithSGD(aggregationDepth=8)
  

• 优化maxBlockSizeInMB参数
  该参数控制数据分块的大小（单位：MB），值越小，生成的数据块数量越多，对应并行任务数也会增加。如果集群内存充足，可适当减小这个值（比如从默认8MB调至4MB），以此提升并行度。注意不要设置过小，否则会产生大量小任务，增加调度开销。

• 全局Spark配置调优
  除了模型参数，还可以通过全局配置提升资源利用率：

  • 设置spark.executor.cores和spark.executor.instances，增加每个执行器的核心数和执行器总数，为训练提供更多并行计算资源。
  • 调整spark.default.parallelism为集群总核心数的2-4倍，确保训练过程中的中间RDD保持较高的分区数。

内容的提问来源于stack exchange，提问作者Дмитрий