多层结构每行单文档JSON导入Databricks及ADF的方案咨询

1. Databricks中合并为一行的实现方案 #

可以实现，核心逻辑是将所有JSON文件对应的行数据聚合为一个数组，最终生成仅含一行的DataFrame。以下是Python代码示例：

from pyspark.sql import functions as F

# 递归读取所有JSON文件，自动推断Schema
df = spark.read.option("recursiveFileLookup", "true").json("/your/root/path")

# 将所有行的完整数据收集为数组，生成单行结果
merged_single_row_df = df.agg(
    F.collect_list(F.struct(*df.columns)).alias("consolidated_data")
)

# 查看或写入结果
merged_single_row_df.show(truncate=False)

说明：

• F.struct(*df.columns) 将每行的所有字段打包为结构体，保留原JSON的完整结构
• collect_list 把所有结构体收集为一个数组，最终DataFrame仅包含一行，列consolidated_data的值为所有JSON文档的集合

2. Azure Data Factory数据流导入方案 #

基础导入（不合并为单行） #

1. 创建JSON源数据集：选择JSON类型，在连接设置中勾选递归，指定根路径
2. 数据流中添加源转换：选择上述JSON数据集，确认Schema自动加载完成
3. 添加接收器转换：选择目标存储（如ADLS）或数据库，配置写入规则（如需输出单个文件可设置"文件名"选项）

合并为单行的导入方案 #

在基础导入流程的源转换后，新增聚合转换：

1. 聚合设置中选择不分组（不指定分组键）
2. 添加聚合列，使用collectStruct函数将所有字段收集为结构体数组，示例表达式：

   collectStruct(byName('*'))
   

3. 将聚合后的结果接入接收器，即可输出包含单行数组的JSON文件

内容的提问来源于stack exchange，提问作者Carolina Karoullas