Azure Synapse无服务器SQL：基于超长字段CSV创建外部表

核心问题分析 #

你遇到的矛盾点在于：

• 直接用OPENROWSET查询时，超长字段触发截断警告，关闭ANSI_WARNINGS虽能返回数据但会截断，却不符合外部表的强制要求
• 外部表要求ANSI_WARNINGS必须开启，而CSV中存在超长字段时，默认解析会因截断报错导致无法读取

解决方案步骤 #

1. 创建带截断容错的自定义文件格式 #

首先创建一个支持截断不报错的CSV文件格式，关键是设置ERROR_ON_TRUNCATION = OFF，同时指定新版解析器：

CREATE EXTERNAL FILE FORMAT SynapseCSV_Truncation_Tolerant
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (
        FIELD_TERMINATOR = ',', -- 根据你的CSV实际分隔符调整
        STRING_DELIMITER = '"', -- 如果字段用引号包裹需设置，否则可省略
        FIRST_ROW = 2, -- CSV有表头则设为2，无表头设为1
        USE_TYPE_DEFAULT = FALSE,
        ERROR_ON_TRUNCATION = OFF, -- 关键参数：超长值自动截断，不触发报错
        PARSER_VERSION = '2.0'
    )
);

2. 使用该文件格式创建外部表 #

基于上面的文件格式创建仅包含所需列的外部表，列类型定义为NVARCHAR(8000)：

CREATE EXTERNAL TABLE my_CET (
    C1 NVARCHAR(8000),
    C2 NVARCHAR(8000)
)
WITH (
    LOCATION = 'my_file.csv', -- 路径为DATA_SOURCE指向容器内的相对路径，而非完整URL
    DATA_SOURCE = [my_data_source],
    FILE_FORMAT = [SynapseCSV_Truncation_Tolerant]
);

3. 验证读取 #

现在直接查询外部表，超长值会自动截断到8KB，且不会触发报错：

SELECT TOP 100 C1, C2 FROM my_CET;

额外排查点（针对路径/权限报错） #

如果仍遇到"External table ... is not accessible"错误：

• 确认LOCATION路径正确：若DATA_SOURCE指向存储容器，LOCATION应为容器内文件的相对路径（如folder/my_file.csv）
• 检查my_data_source的凭据是否拥有存储容器的读取权限
• 确认文件未被其他进程锁定（比如本地正在上传或编辑该文件）

内容的提问来源于stack exchange，提问作者Mauro Minella