Azure Databricks中PySpark简历评分脚本返回空值/零值问题

核心问题原因 #

1. Experience字段被错误覆盖，丢失关键信息
   你用extract_years_udf处理后直接覆盖了原experience字段，导致像Mgr/Director这类非数字的职位标识被转换为0，后续评分函数无法匹配到experience_criteria中的对应键，只能返回0分。

2. 评分逻辑为精确匹配，与Pandas版本的区间判断不一致
   当前PySpark代码仅当年限精确等于0、2、5、8、10时才返回对应分数，而你在Pandas中应该是按区间范围计算得分（比如≥10年得100分，≥8年得75分等），这直接导致大部分非精确匹配的年限返回0分。

3. Null值处理不严谨
   when(col("xxx").isNotNull(), udf(...)) * weight 的写法中，若字段为null，when会返回null，最终对应评分列为null；且UDF内部未明确处理Spark的Null类型（Python的None和Spark的Null在UDF中的处理存在差异）。

解决方法及优化代码 #

步骤1：保留原字段，避免信息丢失 #

不要覆盖原experience字段，新建exp_years字段存储提取的年限，同时保留原字段用于判断职位头衔。

步骤2：改用PySpark内置函数替代UDF（性能更优，避免序列化问题） #

用Spark原生函数替代自定义UDF，减少潜在问题，同时提升处理效率。

步骤3：重构评分逻辑为区间判断，匹配Pandas版本 #

按区间范围计算经验得分，并保留对Mgr/Director的判断。

修改后的完整代码 #

from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType, DoubleType

weight = 0.25

# 1. 提取经验年限，不覆盖原experience字段
df_resume = df_resume.withColumn(
    "exp_years",
    F.coalesce(
        F.regexp_extract(F.col("experience").cast(StringType()), r'(\d+)', 1).cast(IntegerType()),
        F.lit(0)
    )
)

# 2. 计算ExperienceScore：先判断职位，再按区间给分
experience_score_expr = F.when(
    F.lower(F.col("experience")).contains("mgr/director"),
    F.lit(100.0)
).when(
    F.col("exp_years") >= 10,
    F.lit(100.0)
).when(
    F.col("exp_years") >= 8,
    F.lit(75.0)
).when(
    F.col("exp_years") >= 5,
    F.lit(50.0)
).when(
    F.col("exp_years") >= 2,
    F.lit(25.0)
).otherwise(
    F.lit(0.0)
) * weight

# 3. 计算EducationScore：匹配字典，处理Null值
education_criteria = {
    'None': 0,
    'Certification': 20,
    'High School or Equivalent': 20,
    'Associate': 40,
    'Bachelors': 60,
    'Masters': 80,
    'Doctorate': 100
}
# 将字典转为Spark的case when表达式
education_score_expr = F.coalesce(
    F.create_map([F.lit(k) for k in education_criteria.keys()] + [F.lit(v) for v in education_criteria.values()])[F.col("education")],
    F.lit(0.0)
) * weight

# 4. 计算ClearanceScore：匹配字典，处理Null值
clearance_criteria = {
    'None': 0,
    'Public': 25,
    'Secret': 50,
    'Top Secret': 75,
    'Top Secret/SCI': 100,
    'Top Secret/Poly': 100,
    'Top Secret/FSP': 100
}
clearance_score_expr = F.coalesce(
    F.create_map([F.lit(k) for k in clearance_criteria.keys()] + [F.lit(v) for v in clearance_criteria.values()])[F.col("clearance")],
    F.lit(0.0)
) * weight

# 5. 应用所有评分列，计算总分
df_resume = df_resume.withColumn("ExperienceScore", experience_score_expr) \
                     .withColumn("EducationScore", education_score_expr) \
                     .withColumn("ClearanceScore", clearance_score_expr) \
                     .withColumn("TotalScore", F.col("ExperienceScore") + F.col("EducationScore") + F.col("ClearanceScore"))

display(df_resume)

额外优化点 #

• 用F.create_map替代UDF实现字典匹配，避免UDF的性能开销和序列化问题。
• 用F.coalesce统一处理Null值，确保评分列不会出现null，只会返回0分（符合业务逻辑）。
• 经验评分改用区间判断，完全匹配Pandas版本的逻辑，解决精确匹配导致的零值问题。

内容的提问来源于stack exchange，提问作者AwholeMan