Azure Synapse中PySpark DataFrame无法展示问题求助

排查与修复步骤 #

1. 确认display函数未被覆盖 #

运行以下代码检查display是否为Synapse内置函数：

type(display)

正常输出应为 <class 'synapse.ml.core.platform.SynapseDisplayFunction'>。若显示其他类型（如自定义变量/函数），说明display被意外覆盖，重启Notebook内核即可恢复默认功能。

2. 重启内核并清除会话状态 #

• 点击Notebook顶部的重启内核按钮，清空当前会话的缓存与异常状态
• 重新执行所有单元格，避免因会话初始化异常导致的功能失效

3. 验证Spark池状态 #

• 检查当前Notebook关联的Spark池是否处于运行中状态（可在Synapse Studio的「Spark池」页面查看）
• 若Spark池刚启动，等待2-3分钟让环境完全初始化后再测试display函数

4. 用简单DataFrame测试功能 #

创建无复杂类型的测试DataFrame，排除数据结构影响：

test_df = spark.createDataFrame([(1, "test"), (2, "demo")], ["id", "value"])
display(test_df)

若该测试能正常显示交互式表格，说明原DataFrame的array类型列可能存在渲染问题，可尝试：

• 展开array列：display(test_df.select("a", explode("b").alias("b_element")))
• 将array转换为字符串：display(test_df.withColumn("b_str", concat_ws(",", "b")))

5. 确认Notebook运行时类型 #

确保Notebook使用PySpark运行时，而非SQL或纯Python运行时（可在Notebook顶部的「运行时」下拉菜单中切换）。

内容的提问来源于stack exchange，提问作者Albert Rajan