Spark DataFrame拆分字符串列创建派生列报AssertionError如何解决

报错根因 #

触发assert len(colsMap) == 1断言错误的直接原因是Spark DataFrame API方法调用错误，两个易混API的区别如下：

• withColumn：单词末尾无s，用于新增/替换单列，入参格式为(新列名, 列计算表达式)
• withColumns：单词末尾带s，用于批量新增/替换多列，要求入参是列名到列表达式的键值对字典
  你当前代码向withColumns传入了两个独立的位置参数，不符合方法入参要求，因此触发源码中的断言校验失败。

第一步：修复API调用错误 #

将原代码中的withColumns改为withColumn即可解决当前的AssertionError，修改后的代码段：

def len_split(x):
    try:
      k=len(x.split('-')) if '-' in x else 0
    except:
      k=0
    return k
  
  
dat = dat.withColumn("n_X", udf(len_split, 'int')("X"))

第二步：性能优化建议（可选但推荐） #

当前自定义Python UDF的写法虽然能实现需求，但存在JVM和Python进程间的序列化开销，大数据量下性能较差，且手动写try-except兜空值的逻辑可以用Spark原生内置函数替代，运行效率提升明显，优化后代码：

from pyspark.sql import functions as F

dat = dat.withColumn(
    "n_X",
    F.when(
        F.col("X").contains("-"), 
        F.size(F.split(F.col("X"), "-"))
    ).otherwise(0)
)

该写法逻辑和原UDF完全一致：

• 对包含-的字符串，按-分割后返回分段数量
• 对None值、空字符串、不含-的字符串，统一返回0
• 无额外序列化开销，无需手动捕获异常

内容的提问来源于stack exchange，提问作者xfkay