You need to enable JavaScript to run this app. Spark/Scala基于已有列按条件新增列并提取指定值的问题求解
优惠活动
大模型
产品
解决方案
定价
更多

Spark/Scala基于已有列按条件新增列并提取指定值的问题求解

问题根因分析
  • 第一种方法失效原因:提前采集了DataFrame第一行的prev_wo值硬编码进正则表达式,全局所有行都共用适配第一行的匹配规则,因此只有第一行能提取到有效结果。
  • 第二种方法失效原因:循环遍历每行prev_wo生成正则时,每次都直接覆盖col1列的值,最终只有最后一次循环生成的正则生效,因此只有最后一行能提取到有效结果。
正确实现方案

无需自定义方法或提前采集数据,直接通过Spark内置的concat函数动态拼接每行的prev_wo值生成对应匹配规则,每行独立执行提取逻辑即可,示例代码如下:

import org.apache.spark.sql.functions.{concat, lit, regexp_extract, when}

val new_dataFrame = dataFrame.withColumn("col1",
  // 先判断ref_wo是否包含当前行的prev_wo值
  when($"ref_wo".contains($"prev_wo"),
    // 动态拼接正则规则,匹配当前行prev_wo/后的7位字符
    regexp_extract($"ref_wo", concat(lit("(?<="), $"prev_wo", lit("\\/)(.{7})")), 1)
  ).otherwise(null)
)

执行后输出结果如下:

+--------+-------------------------------------------------+-------+
|prev_wo |ref_wo                                           |col1   |
+--------+-------------------------------------------------+-------+
|WHT20177|CTHT WO/MTR# : WHT20212/BTI0426; WHT20177/BTH0393|BTH0393|
|WHT55637|CTHT WO/MTR# : WHT50747/BTI2699; WHT55637/SQL1239|SQL1239|
+--------+-------------------------------------------------+-------+

内容的提问来源于stack exchange,提问作者Arij SEDIRI

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 16:45:03