Spark处理CSV文件时String列转Map类型报错解决方案问询

直接对PersonalInfo列执行cast转换为Map类型报错的核心原因是：该列的原始字符串既不符合Spark Map类型的字面量格式，也不是标准JSON结构：存在多余的转义双引号，且缺少JSON对象必须的外层{}包裹，Spark无法直接识别解析。

方案1：基于JSON解析转换（推荐，兼容性更强） #

先把PersonalInfo列的字符串处理为标准JSON格式，再用Spark内置的from_json函数转成Map类型，示例代码如下：

Scala 实现 #

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.{StringType, MapType}

// 定义目标Map的Schema：key、value均为String类型
val mapSchema = MapType(StringType, StringType)

val resultDf = originalCsvDf
  // 替换所有连续双引号为单个双引号，清除转义字符
  .withColumn("cleaned_info", regexp_replace(col("PersonalInfo"), "\"\"", "\""))
  // 外层补{}形成标准JSON，再转Map
  .withColumn("personal_info_map", from_json(concat(lit("{"), col("cleaned_info"), lit("}")), mapSchema))
  // 清除中间临时列
  .drop("cleaned_info")

Spark SQL 实现 #

SELECT 
  Empcode,
  EmpName,
  from_json(
    concat('{', regexp_replace(PersonalInfo, '""', '"'), '}'),
    'map<string, string>'
  ) AS personal_info_map
FROM original_csv_table

方案2：基于字符串拆分转换（适合规则固定的简单场景） #

如果所有键值对的格式严格统一为"key":"value"用逗号分隔的结构，可以直接拆分字符串生成Map：

import org.apache.spark.sql.functions._

val resultDf = originalCsvDf
  // 清除转义双引号后按逗号拆分出所有键值对
  .withColumn("kv_pairs", split(regexp_replace(col("PersonalInfo"), "\"\"", ""), ","))
  // 遍历拆分每个键值对，生成Map结构
  .withColumn("personal_info_map", map_from_entries(transform(col("kv_pairs"), kv => {
    val splitKv = split(kv, ":")
    struct(trim(splitKv(0)).cast(StringType), trim(splitKv(1)).cast(StringType))
  })))

转换完成后可以直接通过personal_info_map.email、personal_info_map.Location提取对应字段，再写入Parquet不会出现类型不匹配错误。

内容的提问来源于stack exchange，提问作者Brahmaiah Takkellapati