Azure Databricks迁移Azure SQL Database至ADLS的集群配置及成本估算参数咨询

我之前处理过类似规模的批量数据迁移项目，结合实际经验给你一些具体的配置建议和成本估算思路：

一、集群类型选择 #

优先使用Job集群而非Interactive集群，因为迁移是一次性/周期性的批处理任务，Job集群会在任务执行完成后自动终止，避免闲置资源浪费，成本比一直运行的Interactive集群低很多。

二、实例系列与节点配置 #

针对你2.5TB、4000张表的场景，属于IO密集型为主的混合负载（读取Azure SQL DB、写入ADLS），推荐以下实例系列：

• 通用型D系列（如D4_v2、Ddsv5）：性价比高，平衡CPU、内存和网络IO，适合大多数批量迁移场景。D4_v2拥有8核CPU、16GB内存，足以应对单节点的表读取与写入并行处理；如果你的表中有大量复杂查询或需要缓存中间数据，也可以考虑内存优化的E系列（如E4_v3）。
• 节点规模建议：
  1. 先从小规模集群测试：比如用1个Driver节点 + 4个Worker节点，测试迁移10-20张表（约1-2GB数据）的耗时和资源使用率。
  2. 根据SQL DB的负载调整并行度：Azure SQL DB有并发连接限制（比如General Purpose tier的vCore实例，单vCore大概支持100-200并发），不要让迁移任务占满所有连接，建议控制同时读取的表数在20-50之间，对应的Worker节点数可以在4-8个之间调整。
  3. 容错与成本优化：如果迁移任务允许重试，可以使用Spot实例，能节省60%-70%的VM成本；如果是长期稳定的迁移需求，也可以考虑预留实例，进一步降低成本。

三、VM小时与DBU小时估算 #

举个实际测算的例子（以D4_v2实例、Job集群为例）：

• 假设测试后，8个Worker节点 + 1个Driver节点，完成全量迁移需要10小时：
  • VM小时：9节点 × 10小时 = 90 VM小时
  • DBU小时：Job集群的Standard tier DBU费率是0.8 DBU/小时/节点，总DBU小时 = 9 × 10 × 0.8 = 72 DBU小时
• 你可以把这些参数代入Azure定价计算器，结合实例的小时费率（比如D4_v2的按需费率约0.56美元/小时），就能算出大致的总成本。

四、迁移效率优化建议 #

这些优化能帮你缩短迁移时间、降低成本：

• 并行读取SQL DB：使用Spark JDBC时，通过partitionColumn（比如你的年份字段）、lowerBound、upperBound参数实现按年份并行读取，避免单线程读取瓶颈。同时设置合理的fetchsize（比如10000）提升读取效率。
• 分区写入ADLS：直接按年份字段作为分区列写入ADLS，这样Spark可以直接将对应年份的数据写入对应分区目录，避免额外的数据shuffle，提升写入速度。
• 文件格式与大小控制：使用Parquet格式（Spark默认）存储数据，开启mergeSchema兼容不同表的结构差异；设置maxRecordsPerFile（比如1000000）将文件大小控制在1GB左右，避免生成大量小文件影响后续查询效率。
• 同区域部署：确保Databricks集群、Azure SQL DB、ADLS存储账户在同一Azure区域，避免跨区域数据传输的额外成本和延迟。

备注：内容来源于stack exchange，提问作者rutgerv