本地运行PySpark无法创建UDF，测试用例报错求助

问题根源 #

这个错误是因为PySpark与本地Spark环境版本不兼容，目标配置项spark.sql.execution.pythonUDF.arrow.enabled在当前Spark版本中不存在，通常是PySpark版本和Spark的Java/Scala核心版本不匹配导致的。

具体解决方案 #

• 严格匹配PySpark与Spark版本

  1. 查看本地Spark核心版本：执行spark-submit --version
  2. 查看PySpark版本：执行pip show pyspark
  3. 确保两者版本完全一致，若不一致，卸载现有PySpark后重新安装对应版本：

     pip uninstall pyspark -y
     pip install pyspark==<你的Spark核心版本号>
     

• 手动添加缺失的配置项（临时兼容方案）
  在创建SparkSession时强制指定该配置，可绕过配置查找错误：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("UDF-Test") \
      .config("spark.sql.execution.pythonUDF.arrow.enabled", "true") \
      .getOrCreate()
  

  注意：如果你的Spark版本是2.x，该配置项本身不存在，建议直接升级到3.x系列并保持版本匹配。

• 简化UDF写法（避免冗余）
  代码中嵌套lambda完全没必要，直接将函数传入F.udf即可：

  from pyspark.sql.types import StringType
  from pyspark.sql import functions as F
  
  def test_udf(string):
      return string
  
  # 注册UDF
  my_test_udf = F.udf(test_udf, StringType())
  # 示例调用：
  # df = df.withColumn("new_column", my_test_udf(df["original_column"]))
  

• 清理环境冲突
  若同时安装了独立Spark包和PySpark，可能导致版本冲突，建议只保留一套环境：要么用pip安装的PySpark自带的Spark核心，要么使用独立安装的Spark并指定PYSPARK_PYTHON环境变量。

内容的提问来源于stack exchange，提问作者Grace Yudha