You need to enable JavaScript to run this app. AWS DMS以MongoDB为源迁移至S3时无法将int升级为double的问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

AWS DMS以MongoDB为源迁移至S3时无法将int升级为double的问题咨询

针对MongoDB到S3 Parquet迁移的异构数值类型兼容方案

DMS侧可配置的根因解决方法

  • 源端端点配置优化:在MongoDB源端点的额外连接属性中,添加numeric-type-promotion=on。该配置无需依赖受版本限制的MongoDB源列级转换规则,会在文档抽取阶段自动将同字段下的整数、长整数、双精度浮点数统一映射为双精度浮点类型,从根源避免按首个扫描文档的类型窄化Parquet列定义、导致高精度值被丢弃为null的问题。
  • 目标端Parquet参数校验:在S3目标端点的额外连接属性中,确认两项配置:
    • 将parquet-version设置为v1
    • 关闭parquet-small-type-optimization参数,避免Parquet列类型被强制压缩为最小兼容的整数类型,阻断双精度值的写入通道

已落地存量数据的补救操作

  • 绕过Glue Crawler的自动类型推断:手动修改Glue Data Catalog中对应表的字段定义,将被误判为Integer的目标字段类型调整为double,同时将表的schema兼容性设置为BACKWARD,允许Catalog表定义的类型宽于Parquet文件内嵌的列类型。如果Parquet文件内嵌的schema未将Double值丢弃为null,修改后即可直接在Athena中读取完整数据。
  • Athena动态读取适配:如果仅需要临时查询数据,可以在查询语句中通过CAST(目标字段 AS double)直接做类型转换,无需修改Catalog表或源文件。

低版本DMS的备选兼容方案

如果使用的DMS版本不支持numeric-type-promotion参数,可通过以下方式绕开类型不匹配问题:

  • 在S3目标端点的额外连接属性中,开启完整文档JSON列存储能力,迁移完成后通过Glue ETL作业从JSON列中解析目标字段,统一转换为Double类型生成标准Parquet表,无需重新从MongoDB源端全量抽取数据。
  • 临时调整MongoDB源端的写入逻辑,确保所有文档的目标字段统一使用Double类型存储,从源端消除同字段多类型的异构问题,避免DMS类型推断偏差。

注意:当Parquet文件内嵌的列类型定义为Integer时,所有写入阶段被识别为Double的字段值已经被DMS丢弃为null,不存在可通过查询配置恢复的渠道,必须通过重跑迁移修复。


内容的提问来源于stack exchange,提问作者Aman Kumar Bahl

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 22:36:10