Spark中无需正则将特定格式字符串转回array<string>的方法

一、无需正则的数组转回方法 #

1. 从根源调整字符串生成格式（推荐） #

你当前生成的[R55, B66]是非标准JSON格式（缺少字符串引号），导致from_json无法解析。可以在生成codes列时直接输出标准JSON数组字符串，这样后续用from_json就能直接解析：

// Scala示例：生成标准JSON格式的codes字符串
import org.apache.spark.sql.functions.{array_agg, to_json}

val resultDF = rawDF.groupBy("id")
  .agg(to_json(array_agg("code")).alias("codes"))

// 后续解析时直接用from_json
import org.apache.spark.sql.types.{ArrayType, StringType}

val parsedDF = resultDF.withColumn(
  "codes_array",
  from_json(col("codes"), ArrayType(StringType))
)

2. 针对已生成的非标准字符串解析（无正则） #

如果已经有了[R55, B66]格式的字符串，不用正则的话，可以通过字符串截取+分割实现解析：

// Scala示例：非正则解析非标准数组字符串
import org.apache.spark.sql.functions.{col, split, substring, length}

val parsedDF = existingDF.withColumn(
  "codes_array",
  split(
    substring(col("codes"), 2, length(col("codes")) - 2), // 去掉首尾的[]
    ", " // 按", "分割成数组
  )
)

二、StringType约束下的最优读写方案 #

• 写入阶段：
  • 强制存StringType时，务必用to_json生成标准JSON格式字符串，而非直接cast(StringType)。Spark原生数组转字符串的格式是非标准的，会给后续解析带来麻烦。
  • 如果存储格式允许（如Parquet/ORC），优先直接存储ArrayType类型，避免不必要的字符串转换开销。只有当业务强制要求字符串类型时，再转成标准JSON格式。
• 读取阶段：
  • 若读取的是标准JSON格式字符串，直接用from_json解析，性能和兼容性最优。
  • 若读取的是非标准格式字符串，优先用substring+split替代正则函数，字符串操作的性能比正则匹配更高。

内容的提问来源于stack exchange，提问作者smurphy