如何在Apache Beam中返回字典类型PCollection及构建GCS到BigQuery流水线

我现在要搭建一条数据流水线，处理Google Cloud Storage（GCS）里的数千个blob，最终把整合后的数据写入BigQuery，具体需求如下：

• 通过给定的GCS存储桶URL，获取桶内的全部blob列表
• 为每个blob调用GCS API获取元数据（比如blob.size、blob.name这类字段）
• 读取每个blob的内容，提取特定业务信息后和对应元数据合并
• 将每个blob的合并数据写入BigQuery

考虑到blob数量较多，我打算用Apache Beam来实现这条流水线，目前构思的流程步骤是：

1. 将存储桶URL转换为PCollection
2. 基于这个PCollection生成包含所有blob列表的新PCollection
3. 生成包含每个blob元数据的PCollection
4. 执行转换操作：接收元数据字典的PCollection，读取blob提取信息后，返回包含元数据+新提取信息的字典类型PCollection
5. 将最终的字典数据写入BigQuery

现在我卡在两个核心问题上，想请教大家：

1. 怎么通过桶名生成包含blob对象的PCollection？ 不清楚在Beam里该如何高效枚举GCS桶内的所有blob，并将其转化为PCollection
2. 如何在转换步骤中返回字典类型的PCollection？ 对转换逻辑的实现方式不太明确，不知道怎么让输出的PCollection元素是包含合并后数据的字典

有没有大佬能给我一些具体的实现思路或者代码示例呀？

内容的提问来源于stack exchange，提问作者user9773014