Apache Beam Reshuffle已弃用替代方案及本地运行随机丢事件问题处理

Reshuffle在新版Apache Beam中已被正式弃用，官方推荐使用「随机Key+GroupByKey+展开值」的逻辑实现同等的打散效果，该方案同时可以解决本地Runner运行时的偶发事件丢失问题。

修改后的代码示例 #

PCollection<OrderlyBeamDto<RosterRecord>> records = PCollectionList.of(csv.get(TupleTags.OUTPUT_RECORD)).and(excel.get(TupleTags.OUTPUT_RECORD))
    .apply(Flatten.pCollections())
    // 给每个元素分配随机字符串Key
    .apply("Add Random Key", MapElements.into(TypeDescriptors.kvs(TypeDescriptors.strings(), TypeDescriptors.of(OrderlyBeamDto.class)))
        .via(record -> KV.of(UUID.randomUUID().toString(), record)))
    // 通过GroupByKey实现数据打散，效果等同于原Reshuffle
    .apply("Shuffle via GroupByKey", GroupByKey.create())
    // 展开结果，丢弃Key保留原数据
    .apply("Extract Records", FlatMapElements.into(TypeDescriptors.of(OrderlyBeamDto.class))
        .via(kv -> kv.getValue()));

方案说明 #

• 原有Reshuffle内部实现未完全兼容本地Runner的事务性保证，是偶发丢数的根因。上述方案使用Beam最基础的GroupByKey原生算子，所有运行器都对该算子有成熟的一致性保障，不会出现丢数问题
• 随机Key的维度足够细（UUID生成的Key重复概率可忽略），可以实现和原Reshuffle完全一致的负载均衡、数据打散效果
• 整套实现没有用到任何弃用API，兼容所有新版Beam版本
• 如果你的数据量很大，可以把随机Key生成改成随机整数，性能会比UUID更好，重复概率也完全满足打散需求
• 如果需要控制打散的分区数量，可以给随机数指定生成范围，对应控制最终GroupByKey的输出分区数

内容的提问来源于stack exchange，提问作者Dean Hiller