如何将Python字典直接加载为RDD且保留键值对？

你遇到的问题很常见——直接用sc.parallelize()传入字典时，Spark只会把字典的键作为RDD元素，这是因为Python中迭代字典的默认行为就是只返回键。要保留完整的键值对，只需要一个小调整：用字典的items()方法把键值对转换成元组迭代器。

错误代码回顾 #

partition = {'609232972': 4, '975151075': 4, '14247572': 4, '2987788788': 4, '3064695250': 2}
usr_group = sc.parallelize(partition)
print(usr_group.take(5))
# 输出结果：['609232972', '975151075', '14247572', '2987788788', '3064695250']

正确实现方式 #

partition = {'609232972': 4, '975151075': 4, '14247572': 4, '2987788788': 4, '3064695250': 2}
# 用items()获取键值对元组的迭代器
usr_group = sc.parallelize(partition.items())
print(usr_group.take(5))
# 输出结果：[('609232972', 4), ('975151075', 4), ('14247572', 4), ('2987788788', 4), ('3064695250', 2)]

原理说明 #

在Python中，直接遍历字典（比如for element in my_dict）只会返回字典的键；而dict.items()会返回一个包含所有(key, value)元组的视图对象，Spark的parallelize()会把每个元组作为RDD中的独立元素，这样就完整保留了键值对结构。

之后你就可以正常使用Spark键值对RDD的专属操作了，比如reduceByKey()聚合值、mapValues()只修改值部分等，完全满足你的统一处理需求。

内容的提问来源于stack exchange，提问作者Rvsvgs