PySpark、Scala Spark、Spark SQL性能对比及UDF、Photon引擎问题咨询

PySpark、Scala Spark、Spark SQL三者性能差异 #

• 5年前流传的「Scala Spark因为跑在JVM上，性能天然优于存在跨进程序列化开销的PySpark」的结论，现在只在非常窄的特定场景成立，不能一概而论。
• 如果你写的逻辑全用Spark内置算子、内置函数，不管是用PySpark DataFrame API、Scala DataFrame API还是直接写Spark SQL，最终都会被Catalyst优化器编译成完全一致的物理执行计划，运行在JVM的Tungsten引擎上，性能没有可感知的差异。这种场景下PySpark端只负责把Python侧写的调用关系转换成逻辑计划传给JVM，根本不会把分布式数据集拉到Python进程处理，不存在跨进程序列化开销。
• 只有当你使用未做优化的Python自定义逻辑（比如普通逐行Python UDF、Python RDD的map/filter类算子）时，才会触发JVM和Python进程间的数据序列化/反序列化，这时候性能会比等效的Scala实现慢2~10倍。但这个开销也比5年前小很多：Spark 3.0之后默认启用Apache Arrow做批量序列化，3.3版本又优化了跨进程零拷贝传输，比早年逐行序列化的效率高了一个数量级。
• 如果是写RDD层级的自定义算子，Scala实现确实比未优化的Python RDD性能高，但不管是Scala还是Python写的RDD算子，性能都比走DataFrame/SQL API的内置算子实现差——因为RDD无法享受Tungsten的堆外内存管理、全阶段代码生成等核心优化。

Scala UDF的支持与性能表现 #

• Scala原生支持UDF创建，直接编写函数逻辑注册到SparkSession即可，最简示例：

  // 注册简单标量UDF
  spark.udf.register("str_len", (s: String) => if (s == null) 0 else s.length)
  

• 早年「Scala UDF无法被Tungsten优化、性能差」的结论也已经过时：
  • Spark 3.0之后新增了标量UDF内联优化能力，逻辑足够简单的Scala UDF会被Catalyst直接拆解、融入全阶段代码生成流程，执行性能和原生内置函数基本持平。
  • Spark 3.5新增了UDF字节码静态分析能力，绝大多数无副作用、无复杂外部依赖的简单Scala UDF都能被自动识别优化，只有涉及复杂对象操作、外部IO调用的UDF才会退化成未优化的黑盒执行路径，这时候性能比等效内置函数慢30%~2倍不等。
  • 继承Aggregator trait实现的Scala自定义聚合函数（UDAF），在新版本中也能被Tungsten部分优化，性能比早年的黑盒UDAF提升60%以上。

Photon引擎对三者性能的影响 #

Photon是C++重写的Spark向量化执行引擎，目前已经在开源Spark 4.0中逐步合入核心模块，它的优化作用在物理执行计划层，和上层使用什么API编写任务没有直接绑定：

• 只要任务逻辑最终能被编译成Photon支持的物理算子（目前覆盖绝大多数内置函数、标准扫描/Join/聚合/排序算子），不管你是用PySpark、Scala API还是Spark SQL编写，都能直接享受Photon的向量化加速，执行效率比原有JVM Tungsten实现快2~8倍，这种场景下三者性能几乎没有差异。
• 如果逻辑中包含自定义UDF，Photon目前无法直接执行Python/Scala编写的黑盒UDF，碰到这类算子会自动切回JVM执行路径，Photon的整体加速效果会打折扣。回退路径下Scala UDF不需要跨进程做数据序列化，性能会比同逻辑的普通Python UDF高2~3倍。
• 如果使用Python侧的Pandas向量化UDF，配合Photon时可以通过Arrow零拷贝批量传输数据，对接Pandas/Numpy的向量化计算逻辑，性能比普通逐行Python UDF高一个量级，和普通未优化Scala UDF的性能差距可以缩小到30%以内。

补充：目前网上能搜到的5年以上的Spark性能对比内容基本都已过时，从Spark 2.4版本开始，引擎核心优化逻辑全部集中在Catalyst优化层，只要不写跳出优化器的黑盒自定义逻辑，不管上层用什么API，最终执行的都是同一份优化后的计划，不存在某类API天然性能更强的说法。选型时优先选团队最熟悉的API即可，没必要为了所谓的性能优势强行切换到Scala，除非业务中存在大量需要自定义高性能算子的场景。

内容的提问来源于stack exchange，提问作者Inglocines