关于MongoDB to BigQuery Dataflow模板的两项技术问询

1. 目标BigQuery表的分区配置 #

可以配置目标BigQuery表的分区。针对每日转储场景，操作方式如下：

• 先在BigQuery中预先创建带日期分区的目标表，分区字段选择MongoDB文档中对应的时间字段（比如记录生成时间created_at）。
• 运行Dataflow模板时，确保数据写入时将MongoDB的时间字段映射到BigQuery的分区字段上。若模板支持指定分区字段参数，直接配置即可；若模板无默认参数，也可通过UDF将时间字段格式化为符合BigQuery分区要求的格式（如DATE(created_at)），确保数据写入对应分区。

2. MongoDB嵌套字段映射为BigQuery Records #

可以实现将MongoDB嵌套字段映射为BigQuery的Records类型，你提到的两种方案均可行：

方案一：预先定义目标表结构 #

• 提前在BigQuery中创建包含Records类型字段的表结构，确保字段层级、类型与MongoDB的嵌套文档完全匹配。
• 将Dataflow模板的User option设为NONE，模板会保留原始嵌套结构，直接将MongoDB嵌套文档写入BigQuery对应的Records字段，无需扁平化处理。

方案二：使用UDF #

• 若预定义表结构不够灵活，或需对嵌套字段做自定义转换，可编写UDF在Dataflow数据处理阶段解析、转换MongoDB的嵌套文档。
• UDF可以递归处理多层嵌套的MongoDB文档，将其转换为符合BigQuery Records类型要求的结构，不受FLATTEN选项仅扁平化一层的限制，能适配任意层级的嵌套结构。

内容的提问来源于stack exchange，提问作者Jakub Prądzyński