PySpark新手求助：如何将Brand列元素转为键、cloths列转为值

嘿，作为PySpark新手碰到这种数组拆分的需求完全没问题，我来给你一步步演示怎么实现你想要的结果～

核心思路很简单：先把Brand列的数组拆分成单独的行，再将拆分后的品牌元素和对应的cloths值拼接成你要的键值对格式。这里会用到PySpark的explode函数，专门用来处理数组类型的列，把数组中的每个元素拆成独立的行，同时保留其他列的对应值。

完整代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, concat_ws, col

# 初始化SparkSession（PySpark程序的入口）
spark = SparkSession.builder.appName("ClothBrandSplit").getOrCreate()

# 创建你的示例数据
data = [("shirt", ["x", "y"]), ("pants", ["x", "y", "z", "hi"])]
df = spark.createDataFrame(data, ["cloths", "Brand"])

# 第一步：拆分Brand数组列，每行对应一个品牌元素
exploded_df = df.select(col("cloths"), explode(col("Brand")).alias("brand_element"))

# 第二步：拼接成你需要的键值对格式
result_df = exploded_df.select(concat_ws(": ", col("brand_element"), col("cloths")).alias("key_value_pair"))

# 查看最终结果
result_df.show(truncate=False)

代码分步解释 #

1. 初始化SparkSession：这是PySpark操作的基础，必须先创建这个对象才能处理DataFrame。
2. 创建示例DataFrame：模拟你提供的表格数据，方便直接测试代码。
3. 用explode拆分数组：explode(col("Brand"))会把数组里的每个元素单独拆成一行，比如原来的shirt行对应两个品牌元素x和y，拆分后会变成两行：shirt, x和shirt, y，完美保留了衣物和品牌的对应关系。
4. 拼接键值对：用concat_ws函数（指定分隔符为: ）把品牌元素和衣物名称拼接成你想要的格式，最后给结果列起个直观的名字key_value_pair。

运行结果 #

执行代码后，你会得到完全符合预期的输出：

+-------------+
|key_value_pair|
+-------------+
|x: shirt     |
|y: shirt     |
|x: pants     |
|y: pants     |
|z: pants     |
|hi: pants    |
+-------------+

如果需要直接输出文本格式的结果，还可以用collect()把数据取出来后遍历打印：

result_list = [row["key_value_pair"] for row in result_df.collect()]
for item in result_list:
    print(item)

内容的提问来源于stack exchange，提问作者sara jones