Snowflake Variant转PySpark Array：还原字符串为可explode的数组

当Snowflake的Variant类型数组被PySpark读取后，得到的是JSON格式的字符串（比如["Action", "Comedy", "Drama"]），直接用split按逗号分割会把方括号、引号都包含进去，导致explode结果不符合预期。正确的做法是把这个JSON字符串解析成PySpark的数组类型，具体步骤如下：

方法一：显式指定Schema解析JSON字符串 #

使用PySpark的from_json函数，结合明确的数组Schema，将JSON字符串转换为真正的Array类型：

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, StringType

# 定义目标Schema：字符串类型的数组
array_schema = ArrayType(StringType())

# 将JSON格式的字符串字段解析为Array类型
df = df.withColumn("genres", F.from_json(F.col("genres"), array_schema))

# 现在可以正常执行explode操作
df_exploded = df.select(F.explode(F.col("genres")).alias("genre"))

方法二：自动推断Schema（适用于不确定元素类型的场景） #

如果不确定数组内元素的类型，或者想快速适配结构，可以用schema_of_json函数自动推断Schema：

from pyspark.sql import functions as F

# 从样本数据中推断JSON的Schema（需确保样本能代表全部数据结构）
sample_json = df.select(F.col("genres")).first()[0]
array_schema = F.schema_of_json(F.lit(sample_json))

# 解析字符串为数组
df = df.withColumn("genres", F.from_json(F.col("genres"), array_schema))

# 执行explode
df_exploded = df.select(F.explode(F.col("genres")).alias("genre"))

为什么split方法不行？ #

因为读取后的字符串是完整的JSON数组，比如["Action", "Comedy"]，用split(",")分割后得到的是['["Action"', ' "Comedy"]']，后续cast成数组也会保留引号和方括号，而from_json会正确识别JSON结构，直接转换为PySpark原生的Array类型，explode后就能得到干净的元素值。

内容的提问来源于stack exchange，提问作者Explorer