使用AWS Glue处理单行JSON解决作业输出空文件的实现方案

• 空输出问题的核心触发点来自两层解析逻辑错配：
  1. Glue默认JSON解析规则是按行切割文件、逐行匹配单JSON对象结构。你的源文件是把包含多条记录的完整JSON数组压缩成单行存储，整行内容为[{...},{...}]的数组结构，不符合逐行单对象的解析要求，会被识别为无效行直接跳过，最终生成零行的空DataFrame，后续字段映射无论配置什么路径，都只会写出空文件，全程不会触发报错。
  2. 配置为$[*]的JSON分类器默认适配NDJSON（每行一条JSON记录）场景，对单文件为完整JSON根数组的结构识别错误，爬取生成的表结构完全脱离实际文件结构，自动生成的array.xxx字段路径在真实解析结果中根本不存在匹配值。
• 手动把JSON文件调整为多行格式后可正常读写，本质是调整后的文件逐行符合单JSON对象结构，能被默认解析逻辑识别，并非JSON语法本身存在问题。

整体思路是绕过Glue自动生成的错误目录表逻辑，通过Spark原生接口自定义解析规则，直接处理单行存储的JSON数组文件。

• 第一步：替换默认读取逻辑，开启多行JSON解析模式
  放弃从Glue数据目录读取源表的方式，直接指定S3源路径，开启Spark的多行解析配置，让引擎把整个文件作为完整JSON文档解析，而非按行切割逐行识别。核心代码：

from pyspark.sql import functions as F
# 读取S3源路径，开启多行解析，兼容单行存储的完整JSON数组
source_df = spark.read \
    .option("multiLine", "true") \
    .option("mode", "PERMISSIVE") \
    .json("s3://你的源JSON文件存储路径/")

该配置对单行存储、多行格式化的JSON数组文件都能正常解析，不会因为文件的换行格式差异触发识别异常。

• 第二步：展平数组结构，消除自动生成的错误字段路径
  解析完成后，源文件中的JSON数组会被识别为单个数组列，数组内的每个元素是包含全部业务字段的struct结构。无需沿用自动生成的array.col1这类无效映射路径，直接通过内置函数展平结构即可得到和源文件业务字段完全对齐的DataFrame：

# 对数组列做explode操作，将每条数组元素拆为独立行
exploded_df = source_df.select(F.explode(F.col(source_df.columns[0])).alias("row")) \
    .select("row.*") # 将struct内部的业务字段展开为DataFrame顶层列

这一步执行完成后，DataFrame的列即为源JSON中定义的col1、col2、col3等业务字段，完全不存在路径错配问题。

• 第三步：适配后续S3同步、Redshift加载链路
  展平后的DataFrame可直接对接现有处理流程：
• S3到S3的同步验证可直接调用write接口写入目标路径，不需要额外做字段映射转换
• 最终加载Redshift时，直接将展平后的DataFrame接入Glue的Redshift连接器，按正常列名映射规则配置即可，不会出现结构不匹配的问题。

• 不要依赖Glue自动爬取生成的表结构读取这类「单文件为完整JSON数组」的文件：无论文件是单行还是多行存储，Glue默认分类器都会识别出错误的数组嵌套结构，自动生成的字段路径无实际匹配值
• 不要强行使用自动生成的ApplyMapping配置：由于解析阶段得到的DataFrame本身不包含顶层array列，所有路径匹配都会返回空值，最终写出空文件
• 读取时可搭配dropMalformed容错配置，避免单个损坏的文件导致整个作业失败

内容的提问来源于stack exchange，提问作者parmigiano