当然可以！PySpark完全能处理这种带有非结构化嵌套数据的场景，和你用pandas时的object类型列思路类似，咱们直接上解决方案：

首先得确保你有一个可用的SparkSession，这是操作PySpark DataFrame的基础：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("UnstructuredParams").getOrCreate()

这部分和你给出的内容一致：

myRdd = spark.sparkContext.parallelize([[1, 'a', {'a':[1, 2]}], [2, 'b', {'c': 1, 'd':3}], [3, 'c', {}]])
columnNames = ['sl', 'name', 'params']

这里分两种方案，适配不同的需求：

方案A：用ObjectType完全模拟pandas的object dtype（推荐Spark 3.0+） #

Spark 3.0及以上版本支持ObjectType，它可以存储任意Python对象，完美对应pandas里的object类型列，非常适合你这种无固定结构的字典场景：

from pyspark.sql.types import StructType, StructField, IntegerType, StringType, ObjectType

# 定义Schema
schema = StructType([
    StructField("sl", IntegerType(), nullable=True),
    StructField("name", StringType(), nullable=True),
    StructField("params", ObjectType(), nullable=True)
])

# 转换RDD为DataFrame
spark_df = spark.createDataFrame(myRdd, schema=schema)

验证一下结果：

# 查看数据内容
spark_df.show(truncate=False)
# 查看Schema结构
spark_df.printSchema()

输出的Schema会显示params列类型为object，和pandas的效果完全一致。

方案B：用MapType实现结构化的字典存储 #

如果你的字典键都是字符串，且希望后续能更方便地访问字典内的元素，可以用MapType来定义列类型，值类型用ObjectType兼容多种数据类型：

from pyspark.sql.types import MapType

schema = StructType([
    StructField("sl", IntegerType(), nullable=True),
    StructField("name", StringType(), nullable=True),
    StructField("params", MapType(StringType(), ObjectType()), nullable=True)
])

spark_df = spark.createDataFrame(myRdd, schema=schema)

这种方式下，你可以直接用spark_df.select("params.a")来访问字典里的a键，比ObjectType更灵活。

如果你的Spark版本低于3.0，没有ObjectType，可以把字典序列化为JSON字符串存储，后续需要时再反序列化：

import json
from pyspark.sql.functions import udf

# 将RDD中的字典转为JSON字符串
myRdd_json = myRdd.map(lambda x: (x[0], x[1], json.dumps(x[2])))

# 定义Schema，第三列为字符串类型
schema_json = StructType([
    StructField("sl", IntegerType(), nullable=True),
    StructField("name", StringType(), nullable=True),
    StructField("params", StringType(), nullable=True)
])

spark_df_json = spark.createDataFrame(myRdd_json, schema=schema_json)

# 用UDF将JSON字符串反序列化为字典
json_to_dict = udf(lambda x: json.loads(x) if x else {}, MapType(StringType(), ObjectType()))
spark_df_with_dict = spark_df_json.withColumn("params_dict", json_to_dict("params"))

这样也能实现类似pandas的效果，只是多了序列化/反序列化的步骤。

内容的提问来源于stack exchange，提问作者hisham rahman