Spark/Scala基于已有列按条件新增列并提取指定值的问题求解
问题根因分析
- 第一种方法失效原因:提前采集了DataFrame第一行的
prev_wo值硬编码进正则表达式,全局所有行都共用适配第一行的匹配规则,因此只有第一行能提取到有效结果。 - 第二种方法失效原因:循环遍历每行
prev_wo生成正则时,每次都直接覆盖col1列的值,最终只有最后一次循环生成的正则生效,因此只有最后一行能提取到有效结果。
正确实现方案
无需自定义方法或提前采集数据,直接通过Spark内置的concat函数动态拼接每行的prev_wo值生成对应匹配规则,每行独立执行提取逻辑即可,示例代码如下:
import org.apache.spark.sql.functions.{concat, lit, regexp_extract, when} val new_dataFrame = dataFrame.withColumn("col1", // 先判断ref_wo是否包含当前行的prev_wo值 when($"ref_wo".contains($"prev_wo"), // 动态拼接正则规则,匹配当前行prev_wo/后的7位字符 regexp_extract($"ref_wo", concat(lit("(?<="), $"prev_wo", lit("\\/)(.{7})")), 1) ).otherwise(null) )
执行后输出结果如下:
+--------+-------------------------------------------------+-------+ |prev_wo |ref_wo |col1 | +--------+-------------------------------------------------+-------+ |WHT20177|CTHT WO/MTR# : WHT20212/BTI0426; WHT20177/BTH0393|BTH0393| |WHT55637|CTHT WO/MTR# : WHT50747/BTI2699; WHT55637/SQL1239|SQL1239| +--------+-------------------------------------------------+-------+
内容的提问来源于stack exchange,提问作者Arij SEDIRI
相关产品推荐
相关产品推荐

