Spark 3.5.0中非Arrow依赖的传统UDF及相关配置问题咨询

问题1：PySpark 3.5.0中是否仍存在不受pyarrow影响的传统UDF？ #

是的，PySpark 3.5.0依然保留传统Python UDF（即通过@udf装饰器定义的非Pandas UDF），这类UDF完全不受PyArrow影响，执行时会在JVM与Python解释器之间逐行完成对象的序列化/反序列化，性能远低于Pandas UDF。

问题2：使用Pandas UDF并避免JVM对象与Python对象间转换，是否必须将spark.sql.execution.arrow.enabled设为true？ #

是的。Pandas UDF依靠PyArrow实现批量数据的高效传输，当spark.sql.execution.arrow.enabled设为true时，Spark会采用PyArrow的列存储格式在JVM和Python Worker之间传递数据，彻底避免逐行转换的开销。若关闭该配置，Pandas UDF会退回到传统逐行序列化模式，丧失其核心性能优势。

问题3：启用该配置后，是否传统UDF也无需Java与Python间的对象转换？还是仅针对Pandas UDF生效？ #

仅针对Pandas UDF以及Spark DataFrame与Pandas DataFrame互转的操作（比如toPandas()、spark.createDataFrame(pandas_df)）生效。传统Python UDF的执行逻辑不会因该配置改变，依然会逐行进行JVM与Python对象的转换，不会获得性能提升。

内容的提问来源于stack exchange，提问作者Pablo