Azure Data Factory MongoDB到Synapse ETL日期转换报错问题

预览格式与MongoDB原生展示不一致的原因 #

你在MongoDB客户端看到的ISODate()、ObjectId()属于Mongo Shell对BSON二进制类型的专属展示语法，不是数据实际的序列化结构。
ADF的MongoDB连接器默认遵循MongoDB Extended JSON V2 严格模式序列化读取到的BSON数据：所有非普通JSON的BSON类型都会被转成带类型标记的嵌套结构，比如ObjectId序列化为{"$oid": "实际ID值"}，日期类型序列化为{"$date": 毫秒级Unix时间戳}。这个变化是序列化规则差异导致的，不存在数据篡改或丢失。

日期转换报错的原因 #

ADF Copy活动的自动Schema推断逻辑存在适配缺陷：它不会自动识别$date是日期类型的扩展JSON标记，在扁平化处理嵌套结构时，会直接取出$date对应的毫秒时间戳数值，尝试直接转换为Synapse的DateTime类型。而DateTime的默认解析逻辑仅识别ISO 8601格式的日期字符串，无法直接解析纯数字的毫秒时间戳，因此抛出格式转换异常。

按操作成本从低到高排序，可任选其一：

• 调整连接器类型转换配置
  在Copy活动的MongoDB源「高级设置」中，开启convertBsonTypes开关。开启后连接器会自动在读取阶段把BSON日期、ObjectId这类特殊类型转换为对应原生标量类型，不会输出$date、$oid的嵌套结构，后续字段映射可以自动识别为正确的DateTime类型。注意旧版MongoDB连接器该选项默认关闭，需要手动开启。
• 源端查询阶段直接转换日期格式
  不直接读取全集合数据，在源配置中使用MongoDB聚合查询，提前把日期字段转为标准ISO格式字符串，参考查询语句：

  {
    "$project": {
      "event_name": 1,
      "screen_name": 1,
      "product_sku": 1,
      "screen_id": 1,
      "action_id": 1,
      "created_on": { "$dateToString": { "format": "%Y-%m-%dT%H:%M:%S%z", "date": "$created_on" } }
    }
  }
  

  该方式下ADF读取到的created_on字段直接是标准日期字符串，无需额外转换即可正常映射到Synapse的DateTime列，稳定性最高。
• 用映射数据流做中间类型转换
  如果无法修改源端读取配置，可以替换直接Copy活动为Mapping Data Flow实现转换：
  1. 源数据集正常读取MongoDB原始嵌套结构
  2. 添加派生列转换，通过时间函数把created_on.$date存储的毫秒时间戳转为标准时间类型，参考公式：toTimestamp(created_on.$date / 1000)
  3. 将转换后的标准时间字段映射到Synapse目标列即可。

内容的提问来源于stack exchange，提问作者Usman Ghani Mughal