PySpark中如何将字符串形式的列表转换为可操作的列表列？

你的场景是Parquet文件中mylist列存储为Python列表格式的字符串（如['first', 'second', 'third']），需要转换成Spark原生的数组类型，才能支持元素访问、explode等操作，以下是几种可行方案：

方法1：使用from_json（推荐，性能最优） #

Spark的from_json函数可以将JSON格式字符串解析为结构化类型，只需先把字符串中的单引号替换为JSON要求的双引号：

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, StringType

# 假设加载后的DataFrame名为df
df = df.withColumn(
    "mylist_array",
    F.from_json(
        # 将单引号替换为双引号，转为合法JSON数组格式
        F.regexp_replace("mylist", "'", '"'),
        # 指定目标类型为字符串数组
        ArrayType(StringType())
    )
)

转换完成后，即可执行数组操作：

• 访问第n个元素：df.select(F.col("mylist_array")[0].alias("first_item")).show()
• 展开数组：df.select(F.explode("mylist_array").alias("item")).show()

方法2：正则+split组合（适用于格式高度固定的场景） #

如果字符串格式严格遵循['元素1', '元素2', ...]，可以通过正则清理后用split分割：

df = df.withColumn(
    "mylist_array",
    F.split(
        # 先去掉首尾的['和']，再统一元素间的分隔符
        F.regexp_replace(F.regexp_replace("mylist", "^\\['|'\\]$", ""), "'\\s*,\\s*'", "','"),
        "','"
    )
)

方法3：Python UDF（仅作为兜底方案） #

如果前两种方法无法适配特殊格式，可以用Python的ast.literal_eval解析字符串，但UDF会引入Python-JVM序列化开销，大数据量下性能较差：

import ast
from pyspark.sql.functions import udf
from pyspark.sql.types import ArrayType, StringType

# 定义UDF解析字符串为列表
str_to_list_udf = udf(lambda s: ast.literal_eval(s) if s else None, ArrayType(StringType()))

df = df.withColumn("mylist_array", str_to_list_udf("mylist"))

转换完成后，执行df.printSchema()可以看到mylist_array的类型为array<string>，后续即可正常使用所有Spark数组操作。

内容的提问来源于stack exchange，提问作者ℕʘʘḆḽḘ