PySpark中如何将DataFrame行转换为字典列表？含报错咨询

嘿，我来帮你搞定这个问题！你遇到的TypeError是因为PySpark里的df['name']和df['url']是分布式的Column对象，不是Python本地的可迭代序列，所以没办法直接用Python内置的zip()函数来处理它们。

下面给你两种实用的解决方法，根据你的数据规模选就行：

方法一：用collect() + Row.asDict()（通用小数据场景） #

先把DataFrame的数据收集到Driver节点（注意：数据量超大的话别用这个，会占满内存），然后遍历每个Row对象转成字典：

# 把分布式数据拉到本地，得到Row对象的列表
rows = df.collect()
# 逐个将Row转成字典，生成字典列表
dict_list = [row.asDict() for row in rows]

执行后你会得到这样的结果：

[
    {'Name': 'person1', 'URL visited': ['google', 'msn', 'yahoo']},
    {'Name': 'person2', 'URL visited': ['fb.com', 'airbnb', 'wired.com']},
    {'Name': 'person3', 'URL visited': ['fb.com', 'google.com']}
]

方法二：转Pandas DataFrame再转字典（便捷小数据场景） #

如果数据量不大，也可以先转成Pandas DataFrame，再用它的to_dict()方法直接生成字典列表：

# 转成Pandas DataFrame（同样注意数据规模）
pandas_df = df.toPandas()
# 生成字典列表，参数'records'表示每行对应一个字典
dict_list = pandas_df.to_dict('records')

这个方法更简洁，结果和方法一完全一致。

重要提醒 #

不管用哪种方法，collect()和toPandas()都会把分布式集群上的数据全部拉到Driver节点的内存里。如果你的DataFrame数据量特别大，这么做很容易导致内存溢出，这时候建议不要转成本地的字典列表，而是继续用PySpark的分布式API来处理数据。

内容的提问来源于stack exchange，提问作者user8946942