Synapse Serverless SQL pool读取ADLS CSV多表关联查询性能问题

针对你已经对照通用最佳实践调整后仍存在的10张百万级CSV外部表关联耗时30-40秒的问题，以下是容易被忽略的核心优化点，按优先级落地即可稳定达到3-4秒的响应要求：

• 优先替换数据格式、补充分区逻辑
  D365 Export to Data Lake默认导出的无分区CSV是性能瓶颈的核心来源：Serverless SQL每次查询CSV需要全量扫描所有文件、逐行解析全字段，没有任何下推裁剪能力。
  1. 将导出落地格式从CSV切换为Parquet，同数据量下Parquet扫描性能是CSV的6-12倍，自带列存压缩，查询时只会读取用到的字段，不需要解析整行数据，单这一步通常就能把关联查询耗时降到10秒内
  2. 给导出表配置分区键，选择你查询时最常用的过滤字段（比如业务日期、法人实体、分区RecId）作为分区依据，导出文件会按分区键自动拆分目录，建外部表时配置路径分区映射，查询时加分区字段过滤可以直接跳过90%以上的无效文件扫描
• 修正外部表定义和查询写法的隐性问题
  1. 检查外部表字段类型：不要图省事给所有字符串字段设NVARCHAR(MAX)，这类大字段的内存分配开销比固定长度字符串高30%以上，对照D365元数据给字段匹配实际长度，比如编码类字段设NVARCHAR(50)、名称类设NVARCHAR(200)即可
  2. 多表关联强制加查询提示：10表关联已经超过Serverless SQL优化器默认的最优执行计划生成阈值，在查询末尾加OPTION (HASH JOIN)，强制用哈希关联替代默认可能选择的嵌套循环关联，避免大表关联时的IO放大
  3. 不要直接拿全量外部表做关联，用CTE提前把单表的过滤条件下推，压缩参与关联的数据集大小再做Join，示例写法：

     WITH FilteredSalesOrder AS (
         SELECT SalesId, CustId, Amount, OrderDate
         FROM ext.SalesOrderTable
         WHERE OrderDate >= '2024-01-01' -- 提前触发分区裁剪，只扫需要的分区数据
     )
     SELECT t1.Amount, t2.CustName
     FROM FilteredSalesOrder t1
     JOIN ext.CustTable t2 ON t1.CustId = t2.CustId
     -- 其余关联逻辑
     OPTION (HASH JOIN)
     

• 调整调用链路和预计算策略
  1. 检查Function App、Logic App的数据库连接配置，开启连接复用，避免每次查询都新建连接带来的2-5秒冷启动开销，用托管标识做鉴权比SQL账号鉴权的连接建立速度快1-2秒
  2. 去Synapse监控面板排查查询等待耗时，如果等待时间占总耗时的20%以上，说明同工作区有其他大查询占用资源，把非核心的跑批任务错峰调度即可
  3. 如果是固定模式的高频查询，直接建Serverless SQL物化视图提前预计算关联结果，查询直接命中物化视图时响应耗时可以稳定在1-2秒，完全满足业务响应要求

注意：Serverless SQL是无服务器架构，不存在手动扩容计算节点的操作，这类性能问题90%以上都和数据格式、分区、写法相关，盲目调整资源配置没有效果。

内容的提问来源于stack exchange，提问作者Ajay