Azure Serverless SQL：非分区列过滤性能及优化方案问询

非分区列过滤的性能差异 #

• 针对非分区列过滤时，无服务器SQL池确实会扫描所有关联文件夹内的文件，没有分区路径可提前排除无关文件。性能下降幅度没有固定值，取决于数据集规模：TB级大文件场景下，性能差距可能达数倍甚至十几倍；小文件集合场景下差距相对小，但依然显著。
• 无服务器数据集无法创建传统索引，所有过滤逻辑都要在文件扫描阶段完成，这是性能下降的核心原因之一。

路径分层优化的可行性 #

• 将高频过滤的非分区列设为文件夹层级（比如pc1/pc2/npc1/npc2/）是完全可行的优化方案，本质是通过路径实现虚拟分区逻辑。这种方式能让Synapse通过filepath(n)函数直接定位目标文件夹，跳过无关文件扫描，和分区列过滤的性能逻辑一致。
• 注意事项：
  • 避免过度分层，否则会增加元数据检索开销，建议分层数控制在5层以内。
  • 要保证分层列基数合理：若某列基数极高（比如用户ID），按该列分层会产生海量文件夹，反而得不偿失，适合基数中等、过滤频率高的列。

核心原理补充 #

Synapse无服务器SQL池的文件扫描优化依赖路径前缀匹配，不管是原生分区列还是手动设置的路径分层列，只要通过filepath()过滤，引擎都会在扫描前先筛选符合条件的文件夹，避免全量扫描。

内容的提问来源于stack exchange，提问作者Hernán