无需指定列名，将变量中JSON字符串转为Spark DataFrame的替代方案

问题背景 #

原代码通过sc.parallelize将Python字典列表转为RDD后解析为DataFrame，但在Databricks Unity Catalog共享访问集群中，sc.parallelize等RDD相关方法被限制使用，需要纯PySpark的替代方案实现动态Schema推断（无需手动指定列名）。

替代方案一：直接使用spark.createDataFrame() #

Spark的createDataFrame方法可直接接收Python字典列表，并自动推断Schema，完全不依赖RDD API，适配共享集群环境。

示例代码

# 原始JSON字典列表
value_json = [{'id': '00043b01-c002-4df6-b453-8d7cd043e1a1', 'classification': None, 'createdDateTime': '2018-08-02T17:04:48Z', 'proxyAddresses': ['SMTP:Atividades789@softwareone.onmicrosoft.com', 'SPO:SPO_4e3b75d6-716f-40c3-8b59-3b474c59a9f8@SPO_[REDACTED]'], 'creationOptions': ['ExchangeProvisioningFlags:481']}, {'id': '00086d95-a5ac-4ad7-b81c-4c1561c49cb1', 'classification': None, 'createdDateTime': '2018-06-18T15:27:24Z', 'proxyAddresses': ['SMTP:Atividades789@softwareone.onmicrosoft.com', 'SPO:SPO_4e3b75d6-716f-40c3-8b59-3b474c59a9f8@SPO_[REDACTED]'], 'creationOptions': []}]

# 直接生成DataFrame，自动推断Schema
df = spark.createDataFrame(value_json)

# 查看结果
display(df)

说明

• 自动识别所有字段（包括嵌套数组、空值等），生成与原代码完全一致的DataFrame结构。
• 无需额外序列化/反序列化JSON字符串，性能更优。

替代方案二：基于JSON字符串的纯PySpark解析（适用于原始数据为JSON字符串列表的场景） #

如果原始数据是JSON字符串列表而非字典列表，可通过spark.read.json配合spark.createDataFrame生成的临时数据源实现，避免使用RDD：

示例代码

import json
from pyspark.sql.types import StringType

# 将字典列表转为JSON字符串列表
json_strings = [json.dumps(item) for item in value_json]

# 用Spark读取JSON字符串列表
df = spark.read.json(spark.createDataFrame(json_strings, StringType()))

display(df)

验证结果 #

两种方案生成的DataFrame均包含classification、createdDateTime、proxyAddresses等所有字段，与原代码输出完全一致。

内容的提问来源于stack exchange，提问作者Filip Jankovic