将JSON .gz文件转换为Delta Tables的高效低成本方案咨询

• 用Azure原生工具提前解压，规避Spark单节点瓶颈
  既然Spark单节点解压耗时且消耗DBU，完全可以把解压步骤从Spark流程中剥离，用更轻量的Azure服务处理：

  • Azure Functions：配置Blob触发规则，当新的.gz文件上传至归档容器时自动触发函数，将文件解压为JSON后写入临时容器。使用Python的gzip库或Azure Blob SDK即可完成操作，单15MB.gz文件的解压耗时极短，按执行时间计费的成本远低于Spark集群。
  • Azure Data Factory (ADF)：创建简单管道，用内置的「解压」活动定时扫描归档容器的新文件，解压后写入目标容器。ADF活动成本低廉，可精准匹配每5分钟一次的文件生成节奏，还能设置文件过滤规则避免重复处理。

• 优化Spark集群配置，削减DBU消耗
  如果必须用Spark处理，无需维持固定单节点集群：

  • Azure Databricks Serverless Spark：按需启动集群，任务完成后立即销毁。针对单文件解压+写入场景，选择最小规格实例（如Standard_DS3_v2），单次运行控制在几分钟内，DBU消耗会大幅降低。Serverless模式无需预留资源，按实际使用时长计费，比固定集群更划算。
  • 调整Spark参数：若单节点运行不可避免，设置spark.sql.files.maxPartitionBytes为150MB左右，让单个分区处理完整的解压后文件，避免不必要的分区开销；同时关闭UI、历史服务器等非必要服务，减少资源占用。

• Delta Lake批量导入优化
  写入Delta Lake时，可通过以下方式减少耗时与成本：

  • 直接使用COPY INTO命令：Databricks的COPY INTO支持直接读取.gz压缩文件并自动解压，无需手动处理。只需指向Azure Blob的.gz文件路径，即可增量写入Delta表，示例命令如下：

    COPY INTO delta.`abfss://container@storageaccount.dfs.core.windows.net/delta-table`
    FROM 'abfss://archive-container@storageaccount.dfs.core.windows.net/datadog-logs/'
    FILEFORMAT = JSON
    PATTERN = '*.gz'
    COPY_OPTIONS ('mergeSchema' = 'true')
    

    该命令可每5分钟执行一次完成增量同步，甚至可直接用Serverless SQL仓库运行，成本更低。

• 长期成本优化：数据分层存储
  将原始.gz归档文件存放在Azure Blob冷存储层，解压后的JSON或Delta表用热存储层支撑分析，配合Blob生命周期管理规则，自动将旧归档文件迁移至归档层，进一步降低存储成本。

内容的提问来源于stack exchange，提问作者Valkyrja.Kara