Databricks中PySpark UDF新增academics_category列所有值均为无学术学位问题
问题原因
- 最高发的原因是
bildungsstand字段的取值存在首尾空白字符,全等判断无法匹配成功。可执行以下代码验证取值是否有多余空格:
# 关闭字段截断,查看Bachelors对应取值的原始内容 dfAdult.filter(dfAdult.bildungslevel == 13).select("bildungsstand").limit(5).show(truncate=False)
如果输出的Bachelors前后存在空白,调整判断逻辑前先对入参做去空格处理即可。
- 另外你当前的判断逻辑只覆盖了学士、硕士两类学术学位,从数据集统计结果来看
Prof-school(专业学位)、Doctorate(博士)也属于学术学位范畴,若有需求可以同步补充到判断条件中。
修复方案
优先推荐使用Spark原生内置函数实现,避免UDF带来的序列化性能开销:
from pyspark.sql.functions import when, col, trim dfAdult = dfAdult.withColumn( "academics_category", # 先对字段做去空格处理,再判断是否属于目标学术学位范围 when( trim(col("bildungsstand")).isin("Bachelors", "Masters", "Prof-school", "Doctorate"), "academic degree" ).otherwise("no academic degree") )
如果必须使用UDF实现,修改后的UDF逻辑如下:
from pyspark.sql.types import StringType from pyspark.sql.functions import udf def academics_category(academics): # 处理空值场景 if not academics: return "no academic degree" academics_clean = academics.strip() if academics_clean in ("Bachelors", "Masters", "Prof-school", "Doctorate"): return "academic degree" return "no academic degree" academics_udf = udf(academics_category, StringType()) dfAdult = dfAdult.withColumn('academics_category', academics_udf(dfAdult['bildungsstand']))
内容的提问来源于stack exchange,提问作者user10968135
相关产品推荐
相关产品推荐

