RDD使用sortBy对嵌套列表排序仅部分生效,如何按内层字段c排序
问题原因
你现有代码中sortBy(lambda x : x[1])的取值是RDD元素中索引为1的部分,也就是((b,c),d)这个嵌套元组。Python元组默认排序规则是依次比较每个位置的元素,因此会优先比较第一个位置的(b,c)元组,而(b,c)元组又会优先比较第一个元素b,所以最终效果就是按字段b排序。
解决方法
要精准定位到字段c的位置,按层级取索引即可:c位于整体元素索引1的第一个子元组的第二个位置,对应索引路径为x[1][0][1]。
正确代码如下:
sortedMovies = countRatings.sortBy(lambda x : x[1][0][1])
如果需要按c降序排序,额外添加ascending=False参数即可:
sortedMovies = countRatings.sortBy(lambda x : x[1][0][1], ascending=False)
你给出的返回示例中,第一个元素(1882, ((64.5, 33.0), 1.9545454545454546))的c值就是33.0,第二个元素的c值是27.0,第三个是19.0,修改后排序会优先按照这三个值的大小排列,符合需求。
内容的提问来源于stack exchange,提问作者tryingDev
相关产品推荐
相关产品推荐

