Databricks中PySpark基于字典Explode DataFrame的方法与性能疑问

一、无需附加字典到DataFrame的替代方案 #

可以将字典转换为小型键值对DataFrame，再与原DataFrame执行交叉连接（cross join），无需修改原DataFrame结构即可实现等价效果。

代码示例：

# 定义原DataFrame
df = spark.createDataFrame(
    [
        ("tom", "cat"),
        ("jerry", "mouse"),
    ],
    ["characters", "type"]
)

# 将字典转为键值对形式的DataFrame
attr_dict = {'leftarm':'big','rightarm':'small'}
attr_df = spark.createDataFrame([(k, v) for k, v in attr_dict.items()], ["key", "value"])

# 执行交叉连接
df2 = df.crossJoin(attr_df)
df2.show()

执行后输出结果与explode示例完全一致。

二、附加字典到DataFrame的操作方法 #

如果必须将字典作为列添加到原DataFrame，可通过lit函数将字典作为常量列注入，无需手动修改原DataFrame的创建逻辑：

代码示例：

from pyspark.sql.functions import lit, explode

# 定义原DataFrame
df = spark.createDataFrame(
    [
        ("tom", "cat"),
        ("jerry", "mouse"),
    ],
    ["characters", "type"]
)

# 定义字典并添加为常量列
attr_dict = {'leftarm':'big','rightarm':'small'}
df_with_attr = df.withColumn("attributes", lit(attr_dict))

# 执行explode展开
df2 = df_with_attr.select("characters", "type", explode("attributes"))
df2.show()

三、explode vs cross join的性能对比 #

在该场景下两者性能差异极小，甚至可视为等价，原因如下：

• 当字典键值对数量较少时，Spark会自动优化cross join（将小表广播到所有节点，即Broadcast Hash Join），避免全量数据洗牌；
• explode本质是对每行字典进行行展开，Spark会将常量字典视为广播变量处理，执行计划与广播版cross join几乎一致；
• 若字典键值对数量较大，两者都会生成「原DataFrame行数×键值对数」的结果集，计算开销本质相同。

推荐优先使用explode，因为其写法更贴合「展开每行属性」的语义，代码可读性更高；仅当字典需作为独立数据集复用（比如后续还要和其他表关联）时，cross join的方式更灵活。

内容的提问来源于stack exchange，提问作者tommyhmt