如何对值为列表的PCollection做GroupByKey后扁平化合并值列表

你不需要单独编写ParDo处理，有两种更简便的实现方式，优先推荐第一种方案，性能更好：

• 方案1：直接使用Combine.perKey一步完成聚合+扁平化，不需要提前做GroupByKey
  该方案利用Beam的Combine算子的局部预聚合能力，大幅减少shuffle阶段的数据传输量，适合全链路处理场景，代码示例如下：

import apache_beam as beam
import itertools

# 假设kv_pcoll为你的原始键值对PCollection，格式为 (key, value_list)
flattened_result = kv_pcoll | "合并同Key列表" >> beam.Combine.perKey(
    lambda value_lists: list(itertools.chain.from_iterable(value_lists))
)

如果你能接受输出的value是迭代器而非列表，还可以简化为直接传itertools.chain.from_iterable作为聚合函数，无需额外封装lambda。

• 方案2：若你已经通过GroupByKey得到了嵌套列表的结果，只需要加一步简单的Map算子即可完成扁平化

# 假设grouped_pcoll是GroupByKey后的输出，格式为 (key, [list1, list2, ...])
flattened_result = grouped_pcoll | "扁平化嵌套列表" >> beam.Map(
    lambda elem: (elem[0], [item for sub_list in elem[1] for item in sub_list])
)

内容的提问来源于stack exchange，提问作者elelias