PySpark3.1.2运行UDF报错expected zero arguments for construction of ClassDict如何处理

• UDF返回类型定义不合法：你注册UDF时指定的返回类型为ArrayType(StructType())，没有明确声明Struct内部的字段名称和对应数据类型，Spark无法完成Python侧返回值到JVM侧数据结构的序列化映射。
• UDF返回值类型不兼容：你在UDF内部处理完数据后返回了Spark Row对象，在返回schema未明确匹配的场景下，Row对象的pickle序列化规则和JVM侧的反序列化逻辑不兼容，反序列化时无法识别Row的构造参数，就会抛出你遇到的PickleException异常。

方案1：修改现有UDF实现（适合remover处理逻辑复杂的场景） #

你只需要明确声明UDF返回的完整schema，且UDF内部直接返回字典即可，无需封装为Row对象，Spark会自动完成字典到Struct结构的映射：

from pyspark.sql.types import ArrayType, StructType, StructField, StringType

# 1. 明确定义返回结构，和你处理后保留的所有字段一一对应，字段类型根据实际情况调整
return_schema = ArrayType(
    StructType([
        StructField("key", StringType(), nullable=True),
        StructField("value", StringType(), nullable=True),
        StructField("string1", StringType(), nullable=True),
        StructField("string2", StringType(), nullable=True)
        # 此处补充所有你需要保留的字段，名称、类型和实际数据保持一致
    ])
)

def parseCell(array_data):
    final_list = []
    if array_data is not None:
        for record in array_data:
            record_dict = record.asDict()
            if "string1" in record_dict:
                record_dict["string1"] = remover(record_dict["string1"])
            if "string2" in record_dict:
                record_dict["string2"] = remover(record_dict["string2"])
            # 直接返回字典，无需封装为Row
            final_list.append(record_dict)
    return final_list

# 2. 注册UDF时传入上面定义的完整schema
udf_fun = udf(parseCell, return_schema)
df.withColumn("new-name", udf_fun(col("ADSZ_2"))).show()

方案2：使用Spark原生函数实现（性能最优） #

如果你的remover是字符串替换、截取类的简单逻辑，可以直接用Spark内置数组处理函数transform实现，完全避免UDF的序列化/反序列化开销，性能比UDF高5~10倍：

from pyspark.sql.functions import transform, col, regexp_replace

# 示例假设remover逻辑是移除字符串里的特殊字符，你可以替换为对应内置函数实现你的remover逻辑
df = df.withColumn("new-name",
    transform(
        col("ADSZ_2"), 
        lambda x: x.withField("string1", regexp_replace(x["string1"], "[需移除的字符规则]", ""))
                  .withField("string2", regexp_replace(x["string2"], "[需移除的字符规则]", ""))
    )
)
df.show()

内容的提问来源于stack exchange，提问作者Hafiz Muhammad Shafiq