AWS DMS以MongoDB为源迁移至S3时无法将int升级为double的问题咨询
针对MongoDB到S3 Parquet迁移的异构数值类型兼容方案
DMS侧可配置的根因解决方法
- 源端端点配置优化:在MongoDB源端点的额外连接属性中,添加
numeric-type-promotion=on。该配置无需依赖受版本限制的MongoDB源列级转换规则,会在文档抽取阶段自动将同字段下的整数、长整数、双精度浮点数统一映射为双精度浮点类型,从根源避免按首个扫描文档的类型窄化Parquet列定义、导致高精度值被丢弃为null的问题。 - 目标端Parquet参数校验:在S3目标端点的额外连接属性中,确认两项配置:
- 将
parquet-version设置为v1 - 关闭
parquet-small-type-optimization参数,避免Parquet列类型被强制压缩为最小兼容的整数类型,阻断双精度值的写入通道
- 将
已落地存量数据的补救操作
- 绕过Glue Crawler的自动类型推断:手动修改Glue Data Catalog中对应表的字段定义,将被误判为Integer的目标字段类型调整为
double,同时将表的schema兼容性设置为BACKWARD,允许Catalog表定义的类型宽于Parquet文件内嵌的列类型。如果Parquet文件内嵌的schema未将Double值丢弃为null,修改后即可直接在Athena中读取完整数据。 - Athena动态读取适配:如果仅需要临时查询数据,可以在查询语句中通过
CAST(目标字段 AS double)直接做类型转换,无需修改Catalog表或源文件。
低版本DMS的备选兼容方案
如果使用的DMS版本不支持numeric-type-promotion参数,可通过以下方式绕开类型不匹配问题:
- 在S3目标端点的额外连接属性中,开启完整文档JSON列存储能力,迁移完成后通过Glue ETL作业从JSON列中解析目标字段,统一转换为Double类型生成标准Parquet表,无需重新从MongoDB源端全量抽取数据。
- 临时调整MongoDB源端的写入逻辑,确保所有文档的目标字段统一使用Double类型存储,从源端消除同字段多类型的异构问题,避免DMS类型推断偏差。
注意:当Parquet文件内嵌的列类型定义为Integer时,所有写入阶段被识别为Double的字段值已经被DMS丢弃为null,不存在可通过查询配置恢复的渠道,必须通过重跑迁移修复。
内容的提问来源于stack exchange,提问作者Aman Kumar Bahl
相关产品推荐
相关产品推荐

