Azure Synapse中PySpark DataFrame.foreachPartition示例无输出问题

核心原因 #

• 执行节点隔离：foreachPartition传入的函数是在Spark的Executor节点上执行的，而你在Azure Synapse界面看到的输出是Driver节点的日志。Executor的print输出不会直接同步到Driver的前端控制台，所以你看不到任何输出。
• 内存空间隔离：Executor和Driver的内存是完全独立的，你在func里存入列表的数据只存在于对应Executor的本地内存中，Driver根本无法访问这个变量，所以你在Driver端查看列表自然是空的。

解决办法 #

1. 查看Executor的输出内容 #

如果你只是想验证foreachPartition的执行结果，可以通过Synapse的Spark作业监控页面查看Executor日志：

• 找到对应的Spark作业，进入详情页
• 切换到Executor日志标签，就能看到每个Executor节点上print的内容

2. 将结果收集到Driver端处理 #

如果需要在Driver端获取并查看结果，不要用foreachPartition，改用mapPartitions配合collect()（注意：数据量较大时不建议用collect()，避免Driver内存溢出）：

df = spark.createDataFrame([(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])

def func(itr):
    return [person.name for person in itr]

# 把每个分区的结果返回，再拉到Driver端
result = df.rdd.mapPartitions(func).collect()
print(result)  # 此时能在控制台看到输出：['Tom', 'Alice', 'Bob']

另外，也可以用Spark累加器（Accumulator）来收集Executor端的数据，但累加器更适合计数、求和这类聚合场景，对于收集全量数据，mapPartitions + collect更直接。

内容的提问来源于stack exchange，提问作者NFoerster