启用PolyBase的Azure Data Factory v2传输空Decimal值至Azure数据仓库报错

我来分享几个除了用ISNULL(COLUMNNAME, 0)直接替换空值之外的方案，帮你解决这个PolyBase加载Decimal空值的问题：

方案1：调整PolyBase的错误拒绝阈值 #

默认情况下PolyBase的拒绝阈值是0，只要有一行数据不符合要求就会终止整个加载任务。你可以修改外部表的配置，允许一定数量（或比例）的错误行，这样空值的行不会直接导致管道失败。

比如在创建外部表时设置：

CREATE EXTERNAL TABLE [dbo].[YourExternalTable]
(
    -- 列定义
    YourDecimalCol DECIMAL(18,3),
    ...
)
WITH
(
    LOCATION = 'your-data-path',
    DATA_SOURCE = YourAzureStorageSource,
    FILE_FORMAT = YourFileFormat,
    -- 允许最多10行错误
    REJECT_TYPE = VALUE,
    REJECT_VALUE = 10
    -- 或者按比例允许，比如5%的错误行
    -- REJECT_TYPE = PERCENT,
    -- REJECT_PERCENT = 5
);

⚠️ 注意：这个方案只是让加载任务继续执行，那些包含空Decimal值的行会被拒绝，不会导入到数据仓库中。如果需要保留这些行，这个方案不适用。

方案2：为外部表的Decimal列设置默认值 #

你可以在外部表的列定义中添加DEFAULT约束，当外部源的对应值为空或不符合类型时，自动用默认值填充，避免触发错误。

示例代码：

CREATE EXTERNAL TABLE [dbo].[YourExternalTable]
(
    ...
    YourDecimalCol DECIMAL(18,3) DEFAULT 0,
    ...
)
WITH
(
    LOCATION = 'your-data-path',
    DATA_SOURCE = YourAzureStorageSource,
    FILE_FORMAT = YourFileFormat,
    REJECT_TYPE = VALUE,
    REJECT_VALUE = 0
);

这样配置后，PolyBase遇到空的Decimal值时会自动用0填充，而不是将该行标记为错误。需要确保ADF管道使用这个修改后的外部表进行数据加载。

方案3：使用ADF数据流动处理空值 #

如果你的ADF支持数据流动（Data Flow），可以在管道中加入数据流动活动，在数据加载前完成空值清洗：

• 在数据流动的源节点读取Azure SQL DB的数据
• 添加“Derived Column”转换，对Decimal列进行空值替换，使用表达式：iif(isNull(YourDecimalCol), 0, YourDecimalCol)
• 将处理后的数据写入Azure Data Warehouse

这个方案不需要修改源查询或PolyBase配置，在ADF内部完成数据转换，灵活性很高，适合需要多步数据处理的场景。

方案4：用COPY语句替代PolyBase #

Azure SQL Data Warehouse的COPY语句比PolyBase对空值的处理更友好，而且不需要依赖外部表。你可以在ADF的“Copy Data”活动中切换加载方式：

1. 打开“Copy Data”活动的“Settings”选项卡
2. 将“Use PolyBase”设置为“No”，系统会自动使用COPY语句加载数据

COPY语句默认会处理Decimal列的空值，将其转换为数据仓库中的NULL，不会触发拒绝错误，是更稳定的替代方案。

内容的提问来源于stack exchange，提问作者arpan desai