You need to enable JavaScript to run this app. Databricks中PySpark UDF新增academics_category列所有值均为无学术学位问题
优惠活动
大模型
产品
解决方案
定价
更多

Databricks中PySpark UDF新增academics_category列所有值均为无学术学位问题

问题原因

  • 最高发的原因是bildungsstand字段的取值存在首尾空白字符,全等判断无法匹配成功。可执行以下代码验证取值是否有多余空格:
# 关闭字段截断,查看Bachelors对应取值的原始内容
dfAdult.filter(dfAdult.bildungslevel == 13).select("bildungsstand").limit(5).show(truncate=False)

如果输出的Bachelors前后存在空白,调整判断逻辑前先对入参做去空格处理即可。

  • 另外你当前的判断逻辑只覆盖了学士、硕士两类学术学位,从数据集统计结果来看Prof-school(专业学位)、Doctorate(博士)也属于学术学位范畴,若有需求可以同步补充到判断条件中。

修复方案

优先推荐使用Spark原生内置函数实现,避免UDF带来的序列化性能开销:

from pyspark.sql.functions import when, col, trim

dfAdult = dfAdult.withColumn(
    "academics_category",
    # 先对字段做去空格处理,再判断是否属于目标学术学位范围
    when(
        trim(col("bildungsstand")).isin("Bachelors", "Masters", "Prof-school", "Doctorate"),
        "academic degree"
    ).otherwise("no academic degree")
)

如果必须使用UDF实现,修改后的UDF逻辑如下:

from pyspark.sql.types import StringType
from pyspark.sql.functions import udf

def academics_category(academics):
    # 处理空值场景
    if not academics:
        return "no academic degree"
    academics_clean = academics.strip()
    if academics_clean in ("Bachelors", "Masters", "Prof-school", "Doctorate"):
        return "academic degree"
    return "no academic degree"
  
academics_udf = udf(academics_category, StringType())
dfAdult = dfAdult.withColumn('academics_category', academics_udf(dfAdult['bildungsstand']))

内容的提问来源于stack exchange,提问作者user10968135

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 05:45:04