Azure Data Factory通过PolyBase加载首行末列为空数据失败咨询

当使用PolyBase直接加载CSV时，其对表头的解析逻辑与数据行存在差异：

• 若CSV首行（表头）的末列为空值，PolyBase会忽略该列的存在，不会将其识别为有效列名；
• treatEmptyAsNull参数仅作用于数据行的空值处理，无法修正表头的列识别问题，因此设置后无效；
• 跳过首行时，PolyBase按数据行的列位置进行映射而非表头名称，因此能规避列名缺失问题；启用暂存则是通过ADF的中间存储处理，绕过了PolyBase直接解析表头的逻辑。

以下是无需启用暂存的可行方案：

方案1：修正CSV表头 #

手动或通过ADF的数据流/复制活动预处理，将CSV首行的末列空值替换为与目标ADW表对应的列名（例如目标表末列名为Prop_2，则将表头末列改为Prop_2）。这样PolyBase能正确识别所有列，映射时不会出现缺失报错。

方案2：调整CSV数据集解析配置 #

在ADF的Blob CSV数据集配置中，确保以下设置准确：

• 确认列分隔符设置正确（如逗号,），避免末列空值被误判为无列；
• 若CSV使用引号包裹字段，启用引号字符配置（如双引号"），确保表头的空列被正确解析为""形式的有效字段；
• 禁用跳过首行选项，同时在列映射中手动指定所有列的对应关系，强制PolyBase按指定列名匹配。

方案3：手动创建ADW外部表 #

绕过ADF自动生成PolyBase脚本的逻辑，直接在ADW中创建外部表，明确指定CSV的格式和列定义：

CREATE EXTERNAL TABLE [dbo].[YourExternalTable]
(
    Prop_1 VARCHAR(100),
    Prop_2 VARCHAR(100) -- 即使CSV表头末列为空，这里明确声明列名
)
WITH
(
    LOCATION = 'your-blob-path',
    DATA_SOURCE = YourBlobDataSource,
    FILE_FORMAT = (
        FORMAT_TYPE = DELIMITEDTEXT,
        FORMAT_OPTIONS (
            FIELD_TERMINATOR = ',',
            FIRST_ROW = 2, -- 跳过表头行，按位置映射
            USE_TYPE_DEFAULT = TRUE
        )
    )
)

之后在ADF中直接从该外部表复制数据到目标表，避免表头解析问题。

方案4：使用ADF数据流预处理 #

在ADF数据流中读取CSV时：

1. 在源数据集中禁用“跳过首行”，进入数据流的源设置；
2. 在投影选项卡中，手动修改末列的空列名为目标表对应的列名；
3. 直接将处理后的数据流输出到ADW目标表，无需启用暂存，数据流会自动处理列映射逻辑。

内容的提问来源于stack exchange，提问作者user87