数据湖JSON转Parquet自动化工具选型：Synapse/Databricks/ADF咨询

一、核心需求明确 #

• 数据湖容器下存在A/B/C等文件夹，需将各文件夹内JSON合并转换为单个Parquet文件，其中A文件夹转换逻辑与B/C不同
• 后续会新增同结构容器，JSON文件会持续更新，需实现文件新增/修改时自动触发Parquet更新的全流程自动化
• 评估Synapse、Databricks、ADF及ADF+Azure Function的可行性，优先考虑成本，且需新手友好的配置指导

二、各工具方案详解 #

1. Azure Data Factory (ADF) —— 新手首选、成本可控 #

ADF是低代码ETL工具，无需大量编码，成本按运行时长和数据量计费，闲置状态几乎无开销，适合新手快速落地。

自动化触发配置

• 触发器选型：
  • 单容器场景：用Blob存储触发器，监控目标容器下的JSON文件（可通过路径过滤，比如/A/*.json、/B/*.json），触发条件设为文件新增/修改。
  • 多容器+未来新增容器场景：用事件网格触发器，订阅数据湖的BlobCreated/BlobUpdated事件，通过事件属性（如容器名、文件夹路径）过滤触发范围，无需为新容器重复配置触发器。
• 流水线设计：
  • 分支处理：用If Condition活动，通过@triggerBody().folderPath提取文件所属文件夹，区分A与B/C的转换逻辑。
  • B/C文件夹：直接用Copy活动，源选JSON格式、sink选Parquet格式，配置合并写入即可（ADF原生支持格式转换）。
  • A文件夹：若转换逻辑复杂（如字段映射、自定义计算），用Data Flow做可视化转换，或调用Azure Function处理。
  • 新增容器适配：事件网格触发器可自动捕获新容器的事件；若用Blob触发器，可将流水线参数化，通过动态路径适配新容器。

成本优势

事件网格触发器每月前10万次事件免费，Copy活动按数据移动量和运行时长计费，Data Flow按数据处理量计费，整体成本对中小规模数据非常友好。

2. Databricks —— 复杂转换场景适配 #

如果A文件夹的转换逻辑涉及大量自定义代码（如复杂数据清洗、业务规则计算），Databricks的Spark环境更灵活，但成本略高于ADF（按集群运行时长计费）。

自动化触发配置

• 触发方式：用Azure Event Grid + Databricks Job，订阅数据湖Blob事件，当JSON文件新增/修改时触发Job运行。
• Job核心逻辑：
  编写Notebook脚本，通过参数接收触发的文件路径，区分文件夹执行不同转换：

  # 读取事件传递的文件路径参数
  input_path = dbutils.widgets.get("input_path")
  folder_name = input_path.split('/')[1]  # 假设路径格式为 container/folder/file.json
  
  # 读取JSON数据
  df = spark.read.json(input_path)
  
  # 区分转换逻辑
  if folder_name == "A":
      # A文件夹自定义转换：示例为字段计算、重命名
      df_transformed = df.withColumn("calc_col", df["raw_col"] * 1.2).withColumnRenamed("old_name", "new_name")
  else:
      # B/C文件夹直接合并转换
      df_transformed = df
  
  # 写入Parquet（按需选择overwrite/append模式）
  output_path = input_path.replace("/json/", "/parquet/").rsplit('/', 1)[0]
  df_transformed.write.mode("overwrite").parquet(output_path)
  

• 配置Job参数，接收事件网格传递的文件路径，实现动态触发。

成本考量

建议使用Serverless Cluster，按需启动、闲置自动停止（如15分钟闲置后关闭），间歇性任务的成本与ADF接近，复杂场景灵活性更强。

3. Synapse Analytics —— 一体化数据平台方案 #

Synapse是ADF+Spark+数据仓库的一体化平台，逻辑与ADF+Databricks组合一致，适合已使用Synapse生态的场景，新手学习曲线与ADF相近。

自动化触发配置

• 用Synapse Pipeline的Blob/事件网格触发器，逻辑与ADF完全一致；复杂转换用Synapse Spark Pool运行Notebook，脚本逻辑同Databricks。
• 成本与ADF+Databricks组合接近，但一体化平台的管理更便捷。

三、ADF + Azure Function 可行性分析 #

完全可行，适合A文件夹的复杂自定义逻辑，成本极低：

方案流程 #

1. ADF事件网格触发器监控JSON文件的新增/修改事件
2. 触发ADF流水线，将文件路径作为参数传递给Azure Function活动
3. Azure Function用Python/C#编写自定义转换逻辑（如读取JSON、处理特殊字段、生成Parquet）
4. Function将转换后的Parquet写入数据湖指定路径

成本优势 #

Azure Function采用消费计划，每月前100万次调用免费，运行时长前40万GB秒免费，几乎覆盖小数据量的复杂转换需求；ADF仅负责触发调度，整体成本可控。

新手配置步骤 #

• 创建Azure Function：选择HTTP Trigger（ADF调用更灵活），安装pandas/pyarrow库编写JSON转Parquet的代码。
• ADF中添加Azure Function活动，配置Function的URL和密钥，传递文件路径参数即可。

四、新手快速上手建议 #

1. 优先从ADF开始落地：低代码门槛，先完成B/C文件夹的简单转换，再逐步添加A文件夹的特殊逻辑。
2. 优先选择事件网格触发器：适配未来新增容器的场景，无需重复配置触发器。
3. 先手动触发流水线验证转换逻辑，确认无误后再启用自动触发器。
4. 成本优化要点：
   • ADF：使用Serverless集成运行时，关闭闲置资源。
   • Databricks/Synapse：用Serverless集群，设置自动停止时间。
   • Azure Function：采用消费计划，自动缩放，闲置时无费用。

内容的提问来源于stack exchange，提问作者Mats-Johan Fagerheim