PySpark中String类型state列的数据格式转换求助

你的需求是把存储为字符串类型的数组格式数据，转换为逗号分隔的字符串，以下是具体实现步骤：

1. 解析字符串为数组类型 #

由于state列是String类型，内容是类似数组的格式（比如["Florida"]），首先需要用from_json函数将其解析为真正的PySpark数组类型，指定schema为ArrayType(StringType())。

2. 拼接数组元素为逗号分隔字符串 #

使用concat_ws函数，将数组中的元素用逗号连接成单个字符串。

完整代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.types import ArrayType, StringType
from pyspark.sql.functions import from_json, concat_ws

# 初始化SparkSession
spark = SparkSession.builder.appName("StateConversion").getOrCreate()

# 创建示例DataFrame
data = [
    ("[\"Florida\"]",),
    ("[\"New jersey\", \"Colarado\", \"Texas\", \"New york\"]",),
    ("[\"Florida\", \"Vermont\"]",),
    ("[\"Maine\"]",),
    ("[\"Colarado\",\"Texas\",\"New jersey\"]",)
]
df = spark.createDataFrame(data, ["state"])

# 转换处理
result_df = df.withColumn(
    "state_array", 
    from_json(df["state"], ArrayType(StringType()))
).withColumn(
    "state_converted", 
    concat_ws(",", "state_array")
).drop("state_array")

# 查看结果
result_df.select("state_converted").show(truncate=False)

输出结果 #

+-----------------------------------+
|state_converted                    |
+-----------------------------------+
|Florida                            |
|New jersey,Colarado,Texas,New york |
|Florida,Vermont                    |
|Maine                              |
|Colarado,Texas,New jersey          |
+-----------------------------------+

如果不需要保留原state列，可以直接覆盖原列：

result_df = df.withColumn(
    "state", 
    concat_ws(",", from_json(df["state"], ArrayType(StringType())))
)

内容的提问来源于stack exchange，提问作者jigarshah