如何将嵌套结构元组转换为(单词,1)计数元组,可使用PySpark实现?
补全后的代码
counts = wordsTuple.flatMap(lambda x: [(word, 1) for word in x[0][1]])
补充说明
如果你的wordsTuple实际元素结构为(id, 单词列表)(即没有多嵌套一层元组),可以简化为:
counts = wordsTuple.flatMap(lambda x: [(word, 1) for word in x[1]])
flatMap是PySpark专门用来展开嵌套可迭代结构的算子,这里直接一步完成列表展开和计数元组生成的需求,符合单行代码实现的要求。
内容的提问来源于stack exchange,提问作者Ma Pengfei
相关产品推荐
相关产品推荐

