Azure Synapse Polybase创建外部表时是否可获取源文件行号

核心结论 #

Polybase没有内置的属性可以直接返回源文件物理行号，你之前遇到的ROW_NUMBER()返回乱序的问题，确实是Azure Synapse分布式架构导致的：大文件会被拆分为多个分片分配到不同计算节点并行读取，在没有稳定排序依据的情况下，生成的行号和源文件实际顺序没有对应关系。

可行实现方案 #

方案1：使用OPENROWSET读取（推荐） #

Synapse的OPENROWSET读取CSV文件时支持直接获取源文件物理行号的元数据字段，无需自行生成，性能和准确性都有保证，示例代码如下：

INSERT INTO EXAMPLE_TARGET_TABLE (LINE_NUMBER,COL1,COL2,COL3)
SELECT 
    line_number AS LINE_NUMBER,
    COL1,
    COL2,
    COL3
FROM 
    OPENROWSET(
        BULK '../',
        DATA_SOURCE = 'Example_DataSource',
        FORMAT = 'CSV',
        PARSER_VERSION = '2.0'
    ) 
    WITH (
        COL1 VARCHAR(5),
        COL2 VARCHAR(5),
        COL3 VARCHAR(5)
    ) AS result

返回的line_number完全和源文件的行顺序一致，不受分布式读取的影响。

方案2：外部表场景替代方案 #

如果你必须使用现有外部表逻辑，可选择以下两种方式处理：

• 提前在本地给源文件新增行号列后再上传到存储，直接读取该列作为行号即可
• 搭配Azure Data Factory数据流，在文件读取节点直接生成源文件行号后写入目标表

内容的提问来源于stack exchange，提问作者Vikram Reddy