PySpark中为列表元素添加引号以格式化字典结构，并拆分生成日期与值列

嘿，我来帮你搞定这个问题！其实你不用纠结给列表元素加引号的步骤，Spark有更直接高效的方式处理这种字符串格式，最终拆分出日期和值列。咱们分两种思路来解决：

方法一：直接转JSON解析为Map（推荐） #

你的原始列格式是类似 "{date1:val1, date2:val2,...}" 的字符串，我们可以先把它转换成标准JSON格式，再解析成Spark的Map类型，之后就能轻松拆分键值对了：

1. 将原始字符串转为合法JSON
   原始字符串的问题是键和值都没有引号，我们用正则表达式给它们补上，同时确保整体是标准JSON结构：

   from pyspark.sql import functions as F
   
   # 给键值对添加双引号，再处理首尾大括号
   data = data.withColumn(
       "x_json",
       F.regexp_replace(
           F.regexp_replace("x", r"(\w+):(\w+)", r'"\1":"\2"'),
           r"^\{|\}$",
           ""
       )
   )
   # 重新包裹成完整的JSON对象
   data = data.withColumn("x_json", F.concat(F.lit("{"), "x_json", F.lit("}")))
   

2. 解析JSON为Map类型
   用from_json函数把JSON字符串解析成Spark的Map结构：

   from pyspark.sql.types import MapType, StringType
   
   data = data.withColumn(
       "x_map",
       F.from_json("x_json", MapType(StringType(), StringType()))
   )
   

3. 拆分Map为日期和值列
   通过map_entries把Map转成键值对数组，再用explode展开，最后提取日期和值：

   # 转换为键值对数组并展开
   data = data.withColumn("x_entries", F.map_entries("x_map"))
   data = data.select("*", F.explode("x_entries").alias("entry"))
   # 提取日期和值字段
   data = data.withColumn("date", F.col("entry.key"))
   data = data.withColumn("val", F.col("entry.value"))
   

方法二：延续你的列表思路处理 #

如果你想继续用之前拆分列表的方式，也可以用Spark的transform函数遍历列表元素，直接拆分出日期和值：

假设你已经完成了去掉大括号、拆分列表的步骤（得到x_list列），接下来：

from pyspark.sql import functions as F

# 遍历列表中的每个元素，拆分成包含日期和值的结构体
data = data.withColumn(
    "x_struct_list",
    F.transform(
        "x_list",
        lambda item: F.struct(
            F.split(item, ":")[0].alias("date"),
            F.split(item, ":")[1].alias("val")
        )
    )
)
# 展开结构体列表
data = data.select("*", F.explode("x_struct_list").alias("struct_col"))
# 提取最终的日期和值列
data = data.withColumn("date", F.col("struct_col.date"))
data = data.withColumn("val", F.col("struct_col.val"))

小提示 #

优先推荐方法一，因为JSON解析的方式更稳定，尤其是当你的日期或值包含空格、特殊字符时，正则拆分列表元素容易出问题，而标准JSON解析能更好地处理这些情况。

备注：内容来源于stack exchange，提问作者rfs