关于PySpark中数据框行转列及Azure Synapse Notebook实现方法的咨询

嘿，我来帮你搞定在Azure Synapse Notebook里用PySpark实现行转列的需求！我平时在Synapse里处理这类数据变换时，最常用也最顺手的就是PySpark的pivot()函数，下面给你一步步演示具体操作：

1. 先看示例场景 #

假设我们有这样的行式数据（用户ID、类别、对应数值），需要把「类别」的不同取值转成列，每个用户对应类别的数值填充到对应列中：

from pyspark.sql import SparkSession
from pyspark.sql.functions import sum, first

# Synapse Notebook里一般会自动初始化SparkSession，这行可以省略
spark = SparkSession.builder.appName("RowToColumnDemo").getOrCreate()

# 构造测试数据
data = [("user1", "A", 10), ("user1", "B", 20), ("user2", "A", 15), ("user2", "C", 30)]
df = spark.createDataFrame(data, ["user_id", "category", "value"])
df.show()

运行后会看到原始数据：

+-------+---------+-----+
|user_id|category |value|
+-------+---------+-----+
|user1  |A        |10   |
|user1  |B        |20   |
|user2  |A        |15   |
|user2  |C        |30   |
+-------+---------+-----+

2. 用pivot()实现行转列 #

核心逻辑是先分组，再转列，最后聚合：

# 按user_id分组，把category字段的取值转成列，聚合value的总和
pivoted_df = df.groupBy("user_id").pivot("category").agg(sum("value"))
pivoted_df.show()

运行结果就是我们想要的列式数据：

+-------+---+---+---+
|user_id|A  |B  |C  |
+-------+---+---+---+
|user1  |10 |20 |null|
|user2  |15 |null|30 |
+-------+---+---+---+

3. 优化与扩展 #

• 处理空值：如果不想看到null，可以用fillna()填充默认值（比如0）：

  pivoted_df = pivoted_df.fillna(0)
  pivoted_df.show()
  

• 指定转列范围：如果类别取值很多，提前指定要转的列可以提升性能：

  # 只转A、B、C这三个类别为列
  target_categories = ["A", "B", "C"]
  pivoted_df = df.groupBy("user_id").pivot("category", target_categories).agg(sum("value"))
  

• 换聚合方式：如果不需要求和，也可以用first()取第一个值、avg()取平均值等：

  pivoted_df = df.groupBy("user_id").pivot("category").agg(first("value"))
  

在Azure Synapse Notebook里的注意事项 #

你直接把上述代码复制到Synapse的PySpark代码单元格里，选择对应的Spark池运行就可以了——Synapse已经内置了完整的PySpark环境，不需要额外安装任何依赖，开箱即用。

如果是更复杂的行转列场景（比如一行转多组列），可以结合when()+otherwise()手动构造列，但pivot()基本能覆盖绝大多数常规需求啦！

备注：内容来源于stack exchange，提问作者Krishna Gopalam