Scala中如何判断Spark DataFrame列名是否包含指定子串并重命名

你写的伪代码中直接给contains方法传入带%的字符串、使用or逻辑的写法不符合Spark API规范，contains只能精准匹配完整字符串，无法实现模糊查询。你可以通过遍历列名做子串匹配的方式实现需求，等价于SQL的%xxx%模糊匹配效果，具体实现如下：

Scala 版本实现 #

// 定义需要匹配的目标子串列表
val targetSubs = List("ABC", "BCD")
// 筛选第一个匹配到的列，多匹配场景可自行调整逻辑
val matchedColumn = df.columns.find(col => targetSubs.exists(sub => col.contains(sub)))

matchedColumn match {
  case Some(oldColName) => 
    // 匹配到目标列，执行重命名
    val processedDf = df.withColumnRenamed(oldColName, "ABC123")
  case None => 
    // 未匹配到对应列，输出0
    println(0)
}

PySpark 版本实现 #

# 定义需要匹配的目标子串列表
target_subs = ["ABC", "BCD"]
# 筛选第一个匹配到的列，多匹配场景可自行调整逻辑
matched_col = next((col for col in df.columns if any(sub in col for sub in target_subs)), None)

if matched_col:
    # 匹配到目标列，执行重命名
    processed_df = df.withColumnRenamed(matched_col, "ABC123")
else:
    # 未匹配到对应列，输出0
    print(0)

补充说明 #

• 以上代码默认取第一个匹配到的列做重命名，如果你的场景可能出现多个列同时匹配子串的情况，可以把find/next替换为全量过滤逻辑，循环调用withColumnRenamed批量重命名即可。
• 不需要额外加%通配符，contains方法本身就是子串匹配，天然等价于SQL的%xxx%匹配效果。

内容的提问来源于stack exchange，提问作者user3254986