Azure Synapse专用SQL池外部表含逗号列查询报错求助

问题根源 #

你遇到的错误HdfsBridge::recordReaderFillBuffer - Unexpected error encountered filling record reader buffer: HadoopExecutionException: Could not find a delimiter after string delimiter，本质是CSV文件中列值内的逗号被Synapse误识别为列分隔符，导致行数据解析时无法匹配预期的列结构。

解决方案 #

1. 配置带字符串限定符的外部文件格式 #

如果你的CSV文件中含逗号的列值是用引号（如双引号"）包裹的（示例："123,456"），只需在创建外部文件格式时显式指定字符串限定符，让Synapse正确区分值内的逗号和列分隔符。

创建外部文件格式的SQL示例：

CREATE EXTERNAL FILE FORMAT CsvWithQuotedValues
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (
        FIELD_TERMINATOR = ',', -- 你的CSV列分隔符
        STRING_DELIMITER = '"', -- 指定包裹含特殊字符列值的引号
        FIRST_ROW = 2, -- 若CSV有表头行，设置为2跳过表头
        USE_TYPE_DEFAULT = FALSE
    )
);

2. 重新创建外部表引用该文件格式 #

删除原外部表（若已存在），使用新的文件格式重新创建：

DROP EXTERNAL TABLE IF EXISTS YourExternalTableName;

CREATE EXTERNAL TABLE YourExternalTableName (
    -- 根据你的实际列定义调整类型和列名
    Column1 INT,
    ColumnWithComma NVARCHAR(200), -- 存储含逗号的列
    Column3 VARCHAR(100)
)
WITH (
    LOCATION = 'your/adls/storage/path/', -- ADLS中CSV文件的路径
    DATA_SOURCE = YourAdlsDataSource, -- 已创建的ADLS外部数据源
    FILE_FORMAT = CsvWithQuotedValues -- 引用上面创建的文件格式
);

3. 若CSV无引号包裹的预处理方案 #

如果你的CSV文件中含逗号的列值没有被引号包裹，属于格式不规范的情况，需要先预处理文件：

• 使用Synapse管道/ADF数据流，将含逗号的列值用引号包裹后再存入ADLS；
• 更换CSV的列分隔符为不会出现在值中的字符（如|、\t），同时修改外部文件格式的FIELD_TERMINATOR为对应字符。

验证 #

完成配置后执行SELECT * FROM YourExternalTableName;，即可正确解析含逗号的列值，不会触发Hadoop异常。

内容的提问来源于stack exchange，提问作者Sathya