如何在Databricks上将Azure Synapse DataFrame转换为JSON

问题根因 #

你从Azure Synapse读取得到的DataFrame是PySpark DataFrame，并非Pandas DataFrame，二者API并不兼容：Pandas提供小写命名的to_json()实例方法，而PySpark DataFrame对应的JSON序列化方法为大写命名的toJSON()，返回值为RDD对象，这就是你触发AttributeError的核心原因。

另外注意：你自己提供的write_to_synapse静态方法的第一个入参明确要求接收PySpark DataFrame，不需要提前将DataFrame转换为JSON格式，如果你把DataFrame转成JSON字符串再传入该方法，反而会导致后续.write调用报错，直接传入读取得到的原始PySpark DataFrame即可。

正确操作方法 #

如果你确实有业务场景需要将PySpark DataFrame序列化为JSON格式，可按数据体量选择对应方案：

• 小体量数据（可全部加载到Driver节点内存）：先转成Pandas DataFrame再调用to_json()

# 先把PySpark DataFrame转换为Pandas DataFrame
pandas_df = df_dim_store.toPandas()
# orient参数可按需调整，可选值包括split、index、columns、records等
json_result = pandas_df.to_json(orient='records')

• 大体量数据：直接使用PySpark原生的toJSON()方法，返回每行对应JSON字符串的RDD

# 得到存储JSON字符串的RDD
json_rdd = df_dim_store.toJSON()
# 小数据量场景下如果需要把所有JSON结果收集到Driver节点，可调用collect()
json_list = json_rdd.collect()

避坑提示 #

PySpark DataFrame和Pandas DataFrame的API高度相似但细节差异较多，遇到属性不存在的报错时可以优先通过type(df)确认当前操作的DataFrame类型，避免混用API导致报错。

内容的提问来源于stack exchange，提问作者MADFROST