使用pyspark.sql.Column.substr拆分编码层级时遇到的异常问题

Hey there! Let's dig into your encoding splitting issue.

先明确你的需求 #

你希望把编码C78907拆分成以下层级：

• C78 → 一级
• C789 → 二级
• C7890 → 三级
• C78907 → 四级

现有代码的问题点 #

先看你当前使用的代码：

Df3 = Df2.withColumn('Level_One', concat(Df2.code.substr(1, 3)))
Df4 = Df3.withColumn('Level_two', concat(Df3.code.substr(1, 4)))
Df5 = Df4.withColumn('Level_theree', concat(Df4.code.substr(1, 5)))
Df6 = Df5.withColumn('Level_four', concat(Df5.code.substr(1, 6)))

这里有几个关键问题会导致四级编码出现异常：

1. 多余的concat调用：substr本身已经返回截取后的字符串，用concat包裹完全没必要，反而可能在边缘场景下引发奇怪的类型转换问题。
2. 拼写错误：Level_theree应该是Level_three，虽然这不会直接导致四级编码异常，但后续引用该列时肯定会报错。
3. 长度不匹配：你的示例编码C78907只有5个字符，但代码中四级编码取了前6位——Spark处理超出原字符串长度的截取时，会返回原字符串全部内容，但如果数据里有不同长度的编码，就会出现不符合预期的结果，这应该是你看到异常的核心原因。

修正后的代码 #

我帮你调整了代码，不仅修复了问题，还优化了写法（不用反复创建新的DataFrame）：

# 链式调用一次性生成所有层级列，更高效
df_final = Df2.withColumn('Level_One', Df2.code.substr(1, 3)) \
              .withColumn('Level_two', Df2.code.substr(1, 4)) \
              .withColumn('Level_three', Df2.code.substr(1, 5)) \
              .withColumn('Level_four', Df2.code.substr(1, 5))  # 匹配你示例编码的实际长度

额外优化：适配可变长度的编码 #

如果你的数据集里编码长度不固定（比如有的是5位，有的是6位），可以加个长度判断来动态处理，避免出现异常值：

from pyspark.sql.functions import length, when

# 先计算每个编码的长度
df_with_length = Df2.withColumn('code_length', length(Df2.code))

# 根据长度动态生成各层级，长度不够时返回None或者原编码（按需调整）
df_final = df_with_length.withColumn('Level_One', when(df_with_length.code_length >= 3, df_with_length.code.substr(1, 3)).otherwise(None)) \
                         .withColumn('Level_two', when(df_with_length.code_length >= 4, df_with_length.code.substr(1, 4)).otherwise(None)) \
                         .withColumn('Level_three', when(df_with_length.code_length >= 5, df_with_length.code.substr(1, 5)).otherwise(None)) \
                         .withColumn('Level_four', when(df_with_length.code_length >= 6, df_with_length.code.substr(1, 6)).otherwise(df_with_length.code))

内容的提问来源于stack exchange，提问作者Lizou