Mongo导出数据至BigQuery时如何消除日期字段的不必要嵌套
MongoDB数据迁移至BigQuery的日期字段Schema优化需求
现有执行流程
- 采用两步完成迁移:
- 第一步:使用
mongoexport工具将Mongo待迁移集合导出为JSON格式文件 - 第二步:将导出的JSON文件导入BigQuery
- 第一步:使用
- 因待迁移文档结构复杂,存在多层嵌套与数组,导入时默认启用BigQuery的Schema自动检测能力完成结构识别,可较好匹配原始文档结构。
当前遇到的核心问题
- Mongo内日期字段的原生存储格式为
{"lastUpdateTime" : ISODate("2020-11-21T11:40:12.717Z")},经mongoexport导出后,会自动转换为嵌套结构的JSON片段:{"lastUpdateTime" : {"$date": "2020-11-21T11:40:12.717Z"}} - 此前临时处理方案为通过bash脚本中的
sed工具,将导出文件内的$date替换为普通date字段名,导入BigQuery后生成的Schema存在冗余嵌套:lastUpdateTime被识别为可空RECORD类型,其下嵌套的lastUpdateTime.date才是可空TIMESTAMP类型。 - 核心优化目标:让所有
lastUpdateTime类型的日期字段直接以TIMESTAMP类型存储,消除不必要的嵌套结构。
现有考虑的实现方向及卡点
- 方向一:通过正则匹配,将嵌套的日期结构替换为扁平结构,即把
{"lastUpdateTime" : {"$date": "2020-11-21T11:40:12.717Z"}}替换为{"lastUpdateTime" : "2020-11-21T11:40:12.717Z"},但目前尚未找到可适配全场景的正则实现逻辑。 - 方向二:导入BigQuery后再完成数据转换,该方案存在两点阻碍:
- 日期字段分布在数组内部、深层嵌套结构中,在BigQuery内实现转换的复杂度难以预估
- 需要手动排查所有日期字段的分布位置,逐一编写转换逻辑,整体工作量较高
内容的提问来源于stack exchange,提问作者racerX
相关产品推荐
相关产品推荐

