如何优化Spark本地运行配置，提升小数据场景下的训练效率？

针对单机处理5万行DataFrame时的慢查询问题，尤其是差分隐私训练中多次重复分析的耗时痛点，可通过以下Spark配置调整来降低运行耗时，提升教学场景的流畅性：

• 精简执行器与核心配置
  Spark默认配置偏向集群大规模数据，单机小数据下无需多执行器，直接减少调度开销：

  • spark.executor.instances=1：仅启动1个执行器，避免进程间通信与调度的额外消耗
  • spark.executor.cores=4：根据本地CPU核心数调整（比如用总核心数的1/2），减少线程切换，集中资源处理小任务
  • spark.driver.cores=2：给Jupyter驱动进程分配足够核心，避免交互场景下驱动成为瓶颈

• 降低分布式调度开销
  关闭或调整分布式场景下的冗余配置，适配小数据量级：

  • spark.sql.shuffle.partitions=8：默认200个分区对5万行数据完全过剩，减少分区数可避免大量小任务的调度耗时
  • spark.sql.autoBroadcastJoinThreshold=104857600（100MB）：强制自动广播小表，避免不必要的shuffle操作，5万行数据远低于这个阈值，能大幅加速join类计算
  • spark.shuffle.service.enabled=false：单机场景下无需外部shuffle服务，关闭后减少资源占用与调度延迟

• 优化内存与序列化效率
  提升内存使用效率，减少序列化/反序列化的耗时：

  • spark.driver.memory=4g、spark.executor.memory=4g：根据本地内存容量调整（比如用总内存的1/3），避免内存不足导致频繁GC
  • spark.serializer=org.apache.spark.serializer.KryoSerializer：替换默认的Java序列化，Kryo序列化速度更快、体积更小，尤其适合多次重复分析的场景
  • spark.kryoserializer.buffer.max=1g：避免Kryo序列化时缓冲区不足的报错，保证小数据序列化流畅

• 关闭动态资源与复杂调度
  单机场景下无需动态调整资源，简化调度逻辑：

  • spark.dynamicAllocation.enabled=false：关闭动态资源分配，避免执行器的启停调度耗时
  • spark.scheduler.mode=FIFO：使用FIFO调度模式，比默认的FAIR调度更适合小任务串行执行，减少调度器的额外计算

• 配合缓存优化重复分析
  针对差分隐私训练中多次重复分析的场景，除了配置调整，还可以将固定的基础DataFrame用df.cache()缓存到内存，同时调整spark.storage.memoryFraction=0.6，分配更多内存给缓存，避免每次重复分析都重新读取计算。

内容的提问来源于stack exchange，提问作者Ted