JavaPairRDD按Key分组时如何将Iterable<Long>结果转为List<Long>
JavaPairRDD按Key聚合为List的实现方案
你提到的combineByKey、reduceByKey两种API完全适配当前场景,整体性能比先groupBy再做类型转换的方案更优。
原有reduceByKey思路的问题
你初步设想的myRDD.reduceByKey((a,b) -> new ArrayList<Long>())逻辑存在类型不匹配的硬伤:
- reduceByKey要求两个输入参数
a、b的类型和原RDD的Value类型完全一致 - 原RDD的Value为Long类型,也就是说a和b都是单值Long,根本没有已生成的List集合可以用来追加新值,直接新建ArrayList的写法完全匹配不上函数签名要求。
方案1:使用combineByKey实现(性能最优,最适配场景)
combineByKey是Spark为按Key聚合计数、集合生成、数值计算类场景设计的原生API,三个自定义函数刚好对应聚合的三个阶段,全程不需要生成中间的Iterable<Long>类型。
三个函数的作用完全匹配你的需求:
- 分区内首次碰到Key时:把单值Long初始化为单元素
ArrayList<Long> - 分区内同Key后续值到达时:把新的Long值追加到已经生成的List中
- 跨分区同Key聚合时:把不同分区生成的两个List做元素合并
代码示例:
JavaPairRDD<String, Long> originalRDD = /* 你原有的键值对RDD,Key类型可根据业务自由替换 */; JavaPairRDD<String, List<Long>> resultRDD = originalRDD.combineByKey( // 分区内首值初始化:把第一个Long转成单元素List (Long firstValue) -> { List<Long> initList = new ArrayList<>(); initList.add(firstValue); return initList; }, // 分区内同Key值追加:把后续Long值塞到已有List里 (List<Long> existList, Long newValue) -> { existList.add(newValue); return existList; }, // 跨分区List合并:把不同分区生成的同KeyList做元素合并 (List<Long> partListA, List<Long> partListB) -> { partListA.addAll(partListB); return partListA; } );
方案2:用reduceByKey实现(逻辑直白易理解)
如果更习惯用reduceByKey,需要补一步类型前置转换——因为reduceByKey要求Value类型前后统一,所以要先把每个单值Long转成单元素List
JavaPairRDD<String, Long> originalRDD = /* 你原有的键值对RDD */; // 第一步:把每个Long值包装为单元素List,对齐reduceByKey的Value类型要求 JavaPairRDD<String, List<Long>> initRDD = originalRDD.mapValues(value -> { List<Long> singleList = new ArrayList<>(); singleList.add(value); return singleList; }); // 第二步:对同Key的两个List做合并 JavaPairRDD<String, List<Long>> resultRDD = initRDD.reduceByKey((listA, listB) -> { listA.addAll(listB); return listA; });
该方案和combineByKey的最终效果完全一致,仅多了一次全量mapValues的遍历操作,性能略低于combineByKey方案。
方案3:基于现有groupBy逻辑改造(改动最小,性能最低)
如果已经写完了groupBy的实现不想调整核心逻辑,可以直接对得到的Iterable<Long>做类型转换,遍历元素生成ArrayList即可:
JavaPairRDD<String, Iterable<Long>> groupedRDD = originalRDD.groupByKey(); JavaPairRDD<String, List<Long>> resultRDD = groupedRDD.mapValues(iter -> { List<Long> targetList = new ArrayList<>(); iter.forEach(targetList::add); return targetList; });
注意:该方案因为提前走了groupBy的shuffle流程,多了一次结果集的遍历转换开销,不建议在大规模数据场景下使用。
内容的提问来源于stack exchange,提问作者SrtoPeixet
相关产品推荐
相关产品推荐

