Azure Data Factory复制Snowflake至SQLServer时TIMESTAMP_NTZ空值报错

我使用Azure Data Factory的复制活动将Snowflake表复制到SQL Server，操作依赖暂存存储。除了一张包含TIMESTAMP_NTZ列的表外，其余表均能正常复制。该列已正确映射到SQL Server的DATETIMEOFFSET列，但当列中存在NULL值时，复制失败并抛出以下错误：

Failure happened on 'Sink' side. 
ErrorCode=SqlOperationFailed,
  Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,
  Message=A database operation failed. Please search error to get more details.,
  Source=Microsoft.DataTransfer.ClientLibrary,
    Type=System.InvalidOperationException,
    Message=The given value of type String from the data source cannot be converted to type datetimeoffset of the specified target column.,
    Source=System.Data,
      Type=System.FormatException,
      Message=Failed to convert parameter value from a String to a DateTimeOffset.,
      Source=System.Data,
        Type=System.FormatException,
        Message=String was not recognized as a valid DateTime.,
        Source=mscorlib

经调试确认，错误由该datetime列的NULL值导致：暂存存储采用CSV格式，NULL值被编码为空字符串，从存储复制到SQL Server时被识别为''而非null，进而触发类型转换失败。

我目前的临时解决方案是将所有数据以NVARCHAR类型复制，之后在SQL Server上用TRY_CAST转换回原类型。想请教是否存在可在复制活动内实现的其他解决方案？

更新
Snowflake生成的CSV内容如下：

"dtCreateDate","dtLastUpdateDate"
"","2023-03-08 11:59:59.563"
"","2023-03-08 11:59:59.563"

可行的复制活动内解决方案 #

1. 调整CSV暂存格式的NULL值解析规则 #

在复制活动的暂存存储设置中，针对CSV格式配置nullValue参数：

• 进入复制活动的「设置」标签，找到暂存存储的CSV格式配置项
• 添加或修改nullValue属性，将值设为""（空字符串），让ADF读取CSV时自动将空字符串解析为NULL，而非尝试转换为datetimeoffset类型

2. 用数据流动（Data Flow）处理空值转换 #

如果复制活动的格式设置无法解决问题，可改用数据流动替代直接复制：

• 创建数据流动，源端指向Snowflake，接收器指向SQL Server
• 添加「派生列」转换，对目标datetimeoffset列编写表达式：iif(dtCreateDate == "", toTimestamp(null), toTimestamp(dtCreateDate))，将空字符串转换为NULL后再映射到目标列
• 数据流动会自动处理类型转换逻辑，无需依赖暂存CSV的默认解析规则

3. 修改Snowflake导出时的NULL值编码 #

在Snowflake的数据源查询中，显式处理NULL值，避免导出为空字符串：

• 编写查询时，将TIMESTAMP_NTZ列的NULL值转换为特定标记（如'NULL'），示例SQL：

SELECT 
  CASE WHEN dtCreateDate IS NULL THEN 'NULL' ELSE TO_VARCHAR(dtCreateDate) END AS dtCreateDate,
  dtLastUpdateDate
FROM your_table

• 回到ADF复制活动的CSV设置，将nullValue设为"NULL"，让ADF识别该字符串为NULL值

4. 在列映射中用表达式转换空值 #

在复制活动的「映射」标签内，对目标datetimeoffset列使用表达式处理：

• 点击目标列的「表达式」按钮，输入：@iif(equals(item().dtCreateDate, ''), null(), item().dtCreateDate)
• 该表达式会将空字符串转换为NULL后再传递给SQL Server，避免类型转换错误

内容的提问来源于stack exchange，提问作者Stephan Hoffmann