Spark UDF实现嵌套Map类型列中指定Key的删除

你遇到的java.lang.ClassCastException是因为原UDF错误地将外层Map的value类型声明为Row，但你的数据结构里，外层Map的value实际是嵌套Map（Map<String, String>），不是Row类型，强行转换就会抛出类型转换异常。

正确的UDF实现（删除指定Key） #

1. 固定删除某个Key的UDF #

如果要删除的Key是固定值（比如目标Key为"targetKey"），可以这样实现：

import org.apache.spark.sql.functions.udf

// 定义UDF：接收外层Map，移除每个嵌套Map中的指定Key
val removeNestedKeyUDF = udf((outerMap: Map[String, Map[String, String]]) => {
  outerMap.map { case (outerKey, innerMap) =>
    // 从内层Map中移除指定Key
    (outerKey, innerMap - "targetKey")
  }
})

2. 动态指定删除Key的UDF #

如果需要根据参数动态指定要删除的Key，可以把目标Key作为UDF的第二个输入参数：

val removeNestedKeyDynamicUDF = udf((outerMap: Map[String, Map[String, String]], keyToRemove: String) => {
  outerMap.map { case (outerKey, innerMap) =>
    (outerKey, innerMap - keyToRemove)
  }
})

调用示例 #

假设你的DataFrame名为df，包含类型为外层Map的Data列：

// 固定删除Key的场景
df.withColumn("DataWithoutKey", removeNestedKeyUDF($"Data")).show()

// 动态指定Key的场景
import org.apache.spark.sql.functions.lit
df.withColumn("DataWithoutKey", removeNestedKeyDynamicUDF($"Data", lit("targetKey"))).show()

更优方案：使用Spark内置函数（无需UDF） #

如果没有复杂的自定义逻辑，Spark内置的transform_values+map_remove组合可以直接实现需求，性能比UDF更优：

import org.apache.spark.sql.functions.{transform_values, map_remove, lit}

// 直接用内置函数移除嵌套Map中的指定Key
df.withColumn(
  "DataWithoutKey",
  transform_values($"Data", (_, innerMap) => map_remove(innerMap, lit("targetKey")))
).show()

内容的提问来源于stack exchange，提问作者Swaroop Suki