AWS Athena查询S3单个JSON时生成额外空行的问题咨询

• JSON文件格式不匹配SerDe解析规则：Athena默认使用的JSON SerDe（如org.openx.data.jsonserde.JsonSerDe）要求数据采用换行分隔JSON（NDJSON）格式——即每行一个独立的JSON对象。如果你的每个JSON文件末尾存在多余空行，或文件中包含空JSON对象（如{}），SerDe会将其解析为一条空记录；另外，若单个文件是完整的单个JSON对象（非NDJSON结构），SerDe在解析时可能因格式不匹配生成额外空行。
• 文件残留特殊字符：部分编辑器保存文件时会在末尾添加不可见换行符或特殊字符，被SerDe识别为独立的空行记录。

• 修正JSON文件格式：
  • 检查每个JSON文件末尾，删除多余空行；若单个文件存储单个JSON对象，确保内容结尾无不必要的换行；若存储多个对象，改为每行一个JSON对象的NDJSON格式。
  • 若JSON是数组结构（如[{}, {}, {}]），创建表时添加SerDe参数：

    CREATE TABLE [table_name] (...)
    ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
    WITH SERDEPROPERTIES ("strip.outer.array" = "true")
    LOCATION 's3://your-bucket-path/';
    

    该参数会将外层数组展开为多条有效记录，避免解析出空行。
• 调整SerDe配置忽略畸形数据：
  创建或修改表时，添加参数忽略无法解析的空行或畸形JSON：

  ALTER TABLE [table_name] SET SERDEPROPERTIES ("ignore.malformed.json" = "true");
  

• 批量预处理S3文件：
  • 用Lambda函数绑定S3上传事件，自动清理文件中的多余空行；或通过S3 Batch Operations批量处理现有文件，统一修正格式。
• 指定输入格式约束：
  创建表时指定输入格式为org.apache.hadoop.mapred.TextInputFormat，配合SerDe确保只读取有效数据行：

  CREATE TABLE [table_name] (...)
  ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
  STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
  LOCATION 's3://your-bucket-path/';
  

内容的提问来源于stack exchange，提问作者aidangallagher4