在Azure无服务器SQL池查询CSV时出现模糊错误

针对你遇到的带TOP(10)能正常执行、移除后报错Msg19733的情况，可尝试以下几种排查和解决方式：

1. 排查数据格式异常 #

虽然已添加ALLOW_INCONSISTENT_READS，但460MB的全量数据中可能存在严重格式问题，比如：

• 部分行的列数与表头不匹配
• 未正确转义的特殊字符（如引号、逗号）
• 损坏或空行

可以先通过逐步扩大TOP范围定位错误行，或者添加ERROR_FILE参数捕获异常数据：

SELECT * 
FROM
   OPENROWSET(BULK 'Navision_SQL/....',
   FORMAT = 'CSV', 
   PARSER_VERSION = '2.0', 
   HEADER_ROW = TRUE,
   DATA_SOURCE = '', 
   ERROR_FILE = 'error_logs/error_rows.csv', -- 指定存储错误行的路径
   ROWSET_OPTIONS = '{"READ_OPTIONS":["ALLOW_INCONSISTENT_READS"] }') 
AS SLHS
GO

2. 调整查询资源与执行方式 #

全量查询可能触发Azure服务的资源阈值限制，可尝试：

• 提升查询的计算资源级别（如Synapse工作区的计算节点规模）
• 拆分查询为单个文件读取，再通过UNION ALL合并结果：

SELECT * 
FROM
   OPENROWSET(BULK 'Navision_SQL/file1.csv',
   FORMAT = 'CSV', 
   PARSER_VERSION = '2.0', 
   HEADER_ROW = TRUE,
   DATA_SOURCE = '', 
   ROWSET_OPTIONS = '{"READ_OPTIONS":["ALLOW_INCONSISTENT_READS"] }') 
AS SLHS
UNION ALL
SELECT * 
FROM
   OPENROWSET(BULK 'Navision_SQL/file2.csv',
   FORMAT = 'CSV', 
   PARSER_VERSION = '2.0', 
   HEADER_ROW = TRUE,
   DATA_SOURCE = '', 
   ROWSET_OPTIONS = '{"READ_OPTIONS":["ALLOW_INCONSISTENT_READS"] }') 
AS SLHS2
GO

3. 验证数据源权限与配置 #

确认DATA_SOURCE的权限配置是否覆盖全量数据读取，虽然TOP查询能执行，但全量读取可能涉及存储账户的并发限制或权限范围，可检查存储账户的访问日志，排查是否存在读取失败记录。

4. 改用外部表读取数据 #

创建外部表对大体积CSV的兼容性更好，也便于后续查询维护：

-- 创建外部数据源
CREATE EXTERNAL DATA SOURCE BlobDataSource
WITH (
    LOCATION = 'https://<storage-account>.blob.core.windows.net/<container>',
    CREDENTIAL = <storage-credential>, -- 配置存储账户凭据
    TYPE = BLOB_STORAGE
);

-- 创建CSV文件格式
CREATE EXTERNAL FILE FORMAT CsvFormat
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (
        FIELD_TERMINATOR = ',',
        STRING_DELIMITER = '"',
        FIRST_ROW = 2,
        USE_TYPE_DEFAULT = FALSE
    )
);

-- 创建外部表（需匹配CSV列结构）
CREATE EXTERNAL TABLE dbo.SLHS (
    Column1 INT,
    Column2 VARCHAR(100),
    -- 补充其他列定义
)
WITH (
    LOCATION = 'Navision_SQL/',
    DATA_SOURCE = BlobDataSource,
    FILE_FORMAT = CsvFormat
);

-- 查询全量数据
SELECT * FROM dbo.SLHS;

内容的提问来源于stack exchange，提问作者Balaganesh