如何启用PolyBase从Delta Lake高效复制数据至Synapse专用SQL池？

核心问题原因 #

你看不到PolyBase选项，是因为原生Delta Lake连接器作为源时，Synapse复制活动不会暴露PolyBase加载选项——PolyBase仅支持从ADLS Gen2/Blob Storage等存储服务读取结构化文件（Parquet/CSV等）作为源，而非直接通过Delta连接器读取元数据层。

具体实现步骤 #

1. 切换源为存储账户（指向Delta表的底层数据）

Delta表的实际数据存储在ADLS Gen2/Blob的<delta-table-path>/data目录下，格式为Parquet。你需要：

• 在Synapse pipeline中创建ADLS Gen2/Blob Storage连接器作为源
• 源路径指向Delta表的data子文件夹
• 格式选择Parquet（匹配Delta底层存储格式）

2. 配置目标Synapse专用SQL池并启用PolyBase

在复制活动的目标设置里：

• 选择你的Synapse专用SQL池作为目标
• 找到复制方法下拉框，此时会显示PolyBase选项（因为源是存储+Parquet，符合PolyBase的要求）
• 配置PolyBase的临时存储：指定一个同区域的ADLS Gen2/Blob容器作为暂存区（PolyBase需要暂存区来处理数据并行加载）
• 确保权限：给Synapse SQL池的托管身份（或你使用的服务主体）授予：
  • 源存储data文件夹的Storage Blob Data Reader权限
  • 临时存储容器的Storage Blob Data Contributor权限

3. 保证Delta表的数据一致性（关键）

直接读取data文件夹可能会读到未提交的事务数据，建议：

• 使用Delta Lake的时间旅行功能，指定某个版本的快照路径：<delta-table-path>/data@v<version-number>
• 或者在Databricks中执行COPY INTO命令，将Delta表的一致性快照导出到单独的Parquet路径，再让Synapse读取该路径
• 避免在Delta表写入期间触发复制活动，防止脏读

优化建议 #

• 分区读取：如果Delta表按字段分区，在源存储中按分区路径过滤数据，减少PolyBase加载的数据量
• 数据类型对齐：提前映射Delta表字段类型到Synapse SQL池兼容的类型（比如Delta的timestamp对应SQL池的datetime2）
• 调整PolyBase参数：在目标设置中配置ROWS_PER_BATCH（建议10万-100万行），优化加载吞吐量

内容的提问来源于stack exchange，提问作者Anupam Chand