Azure Data Factory日期转5位长整数问题求助

从MongoDB提取JSON文件转换为表格，执行以下操作后出现日期异常：

• 先对数据做扁平化处理，再通过派生列转换将目标字段转为日期类型
• 转换过程中，数据预览、Sink的输入输出均显示正常日期格式
• 但Sink预览时该日期字段变为5位Long型数值，将该数值导入Excel转换后得到1948年的日期，与原数据中的2018年不符
• 用相同步骤处理该数据库其他集合时日期转换正常，手动映射Sink字段后问题仍存在

可能原因 #

• MongoDB日期存储非标准类型：该集合的日期字段未使用BSON标准ISODate类型，而是存储为秒级时间戳、字符串或自定义格式，导致派生列转换时识别错误
• 时间戳单位不匹配：派生列转换逻辑默认处理毫秒级时间戳，但该字段实际是秒级时间戳，转换后数值被缩小1000倍，Excel将其识别为1970年以来的天数，最终得到错误年份
• Sink端类型自动映射错误：即使中间转换为日期类型，Sink目标端（如Excel、关系型数据库）自动将字段映射为数值型，未保留日期格式
• 扁平化操作破坏字段结构：扁平化过程中拆分了嵌套的日期字段，导致派生列转换的不是原始日期值

解决方法 #

1. 验证原字段存储类型

   • 直接查询MongoDB集合，确认日期字段类型：执行db.targetCollection.find({}, {yourDateField: 1}).limit(10)
   • 若返回数值，判断单位：2018年的毫秒级时间戳范围是1514764800000-1546291199999，秒级是1514764800-1546291199，若为秒级则需调整转换逻辑

2. 修正派生列转换表达式

   • 若原字段是秒级时间戳，将转换表达式改为：toDate(yourDateField * 1000)
   • 若原字段是自定义格式字符串，指定格式转换：parseDateTime(yourDateField, 'yyyy-MM-dd HH:mm:ss')（根据实际格式调整）

3. 强制Sink端字段类型映射

   • 在Sink配置界面，手动将目标字段的类型设置为Date/DateTime，禁用自动类型推断
   • 若目标是Excel，提前设置输出列的单元格格式为日期型，避免Excel自动解析数值为天数

4. 检查扁平化操作的字段路径

   • 查看扁平化后的字段列表，确认日期字段的路径未被错误拆分，派生列转换的是正确的原始字段
   • 若扁平化导致字段路径变更，更新派生列中的字段引用路径

内容的提问来源于stack exchange，提问作者WilliamAllen