OPENROWSET在Synapse SQL中的内部运行机制及支持逻辑问询

问题1：数据的加载与处理位置是否为内存？是否会像Spark一样分块加载数据？ #

• 数据处理位置：Synapse无服务器SQL池使用OPENROWSET时，数据的加载和处理过程均在计算节点的内存中完成，不会将数据持久化到专用池的本地存储。
• 分块加载机制：会采用类似Spark的分块加载方式。无服务器SQL池会根据外部文件的大小、格式特性（比如Parquet的分块结构、CSV的行分布）自动将文件拆分为多个数据块，分配到不同的计算节点并行处理，既避免单节点内存过载，也能提升查询的整体效率。

问题2：为何OPENROWSET仅支持无服务器SQL池而不支持专用SQL池？尽管两者均基于原生支持OPENROWSET的MS SQL Server。 #

• 架构定位差异：专用SQL池是MPP架构的持久化数据仓库，核心目标是批量加载数据到本地分布式存储后进行高并发、复杂分析，配套的COPY INTO、PolyBase等工具更适配其数据导入与持久化的需求；而OPENROWSET是为即席查询外部存储的临时数据设计的，和专用池的持久化存储优化方向不匹配。
• 实现逻辑适配：虽然两者都基于SQL Server，但专用池的MPP架构优化围绕本地分布式表展开，外部数据访问并非其核心场景；无服务器SQL池则是专为外部数据即席查询打造的，其按需调度计算资源的特性天然适配OPENROWSET的使用场景，因此仅在无服务器池中实现了该功能。

内容的提问来源于stack exchange，提问作者Nag