使用PolyBase从含特殊字符的CSV加载数据时遭遇“Could not find a delimiter after string delimiter”错误的技术问询

根据你描述的问题和提供的外部文件格式创建语句，我先指出最可能的根源，再给出逐步排查和解决的方案：

1. 优先修复：STRING_DELIMITER的错误配置 #

你当前的语句中使用了STRING_DELIMITER = '"'，但T-SQL并不解析HTML实体"——这意味着你实际把字符串分隔符设置成了**"这6个字符**，而不是你期望的双引号"。这是导致错误的核心原因之一。

正确的写法应该是用单引号包裹双引号，直接指定双引号作为字符串分隔符：

CREATE EXTERNAL FILE FORMAT StringDelimiter 
WITH ( 
    FORMAT_TYPE = DELIMITEDTEXT, 
    FORMAT_OPTIONS ( 
        FIELD_TERMINATOR = ',', 
        STRING_DELIMITER = '"', -- 直接用双引号，外层用单引号包裹即可
        FIRST_ROW = 2, 
        ENCODING = 'UTF8' 
    ) 
);

2. 排查数据中的格式问题 #

即使修复了分隔符配置，仍然可能因为数据本身的格式不规范触发这个错误，需要检查以下几点：

• 未闭合的双引号：检查CSV文件中是否存在单个未配对的双引号（比如某字段内容是"abc,def，缺少闭合的"）。这种情况下PolyBase会一直尝试寻找下一个字符串分隔符，直到行尾都找不到，最终报错找不到字段分隔符。
• 字段分隔符出现在字符串中但未正确包裹：如果你的CSV中有字段包含逗号（,），必须确保该字段被双引号完整包裹。比如正确格式是"abc,def",123，而非abc,def,123（这会被错误解析成3个字段）。
• 转义的双引号处理：如果数据中本身需要包含双引号（比如字段内容是He said "hello"），CSV规范要求用两个双引号转义，即写成"He said ""hello"""。如果你的数据用单个双引号直接包含双引号内容，PolyBase会无法正确解析，导致分隔符识别混乱。

3. 针对特殊字符的额外处理 #

你的CSV中包含/,/|/^这类特殊字符，只要它们没有破坏CSV结构（比如未被误用作字段分隔符），且被正确包裹在双引号内（如果包含逗号的话），就不会有问题。如果这些字符导致格式混乱，可以尝试：

• 确认特殊字符没有干扰分隔符的识别（比如|或^没有被系统误判为字段分隔符）。
• 对于非字符串字段中的特殊字符，确保它们不需要被包裹，且不会触发PolyBase的解析逻辑异常。

4. 验证数据的小技巧 #

如果不确定是配置还是数据的问题，可以先截取3-5行符合规范的CSV样本，上传到Blob存储，用修复后的外部文件格式尝试加载。如果小样本加载成功，再逐步定位原数据中的异常行。

内容的提问来源于stack exchange，提问作者Ritika