创建多行JSON的Hive外部表结果不符问题排查

问题场景 #

给定多行JSON格式的数据：

{
      "name": "Adil Abro",
      "language": "Sindhi",
      "id": "LJRIULRNJFCNZJAJ",
      "bio": "Etiam malesuada blandit erat, eget ullamcorper risus ligula tristique libero.",
      "version": "9.32"
    }
    {
      "name": "Afonso Vilarchán",
      "language": "Galician",
      "id": "JMCL0CXNXHPL1GBC",
      "bio": "Fusce eu ultrices elit, Nunc tincidunt laoreet laoreet.",
      "version": "5.21"
    }     

使用以下Java生成的建表语句创建外部表后，查询结果完全不符合预期：

createHQ = String.format("CREATE EXTERNAL TABLE IF NOT EXISTS %s (`name` string, `language` string, `id` string, `bio` string, `version` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ESCAPED BY '\\\\' COLLECTION ITEMS TERMINATED BY '_' MAP KEYS TERMINATED BY ':' LINES TERMINATED BY '\\n' NULL DEFINED AS 'null' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION '%s' TBLPROPERTIES (\"serialization.null.format\"=\"\")", tableName, outputLocation.trim());

当前查询结果将每行文本单独作为一条记录，所有字段除第一列外均为null，而预期是每个JSON对象对应一行，字段正确映射到列。

问题原因 #

当前建表语句使用了ROW FORMAT DELIMITED，这是用于解析CSV类分隔符文本的格式，完全不匹配JSON数据结构。同时，默认的TextInputFormat会将每行视为一条独立记录，而JSON对象是跨多行存储的，导致解析逻辑完全错误。

解决方案 #

使用Hive的JSON SerDe（序列化/反序列化器）来解析JSON数据，并配置记录分隔符以识别多行JSON对象：

正确的建表语句（Java生成版） #

createHQ = String.format("CREATE EXTERNAL TABLE IF NOT EXISTS %s (`name` string, `language` string, `id` string, `bio` string, `version` string) " +
        "ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' " +
        "WITH SERDEPROPERTIES (\"ignore.malformed.json\" = \"true\") " +
        "STORED AS TEXTFILE " +
        "LOCATION '%s' " +
        "TBLPROPERTIES (" +
        "  \"mapreduce.input.fileinputformat.record.delimiter\" = \"}\\n{\"," +
        "  \"serialization.null.format\" = \"\"" +
        ")", tableName, outputLocation.trim());

关键配置说明 #

• JSON SerDe：使用org.apache.hive.hcatalog.data.JsonSerDe（旧版本Hive可使用org.apache.hadoop.hive.serde2.JsonSerDe）自动将JSON字段映射到表结构中的列，无需手动指定分隔符。
• 记录分隔符：通过mapreduce.input.fileinputformat.record.delimiter设置为}\n{，让Hive识别每个JSON对象的边界，将整个JSON对象作为一条记录。
• 容错配置：ignore.malformed.json=true可以忽略格式错误的JSON行，避免整个表解析失败。

验证结果 #

执行上述建表语句后，重新查询表即可得到预期结果：每个JSON对象对应一行，各字段正确匹配到对应列。

内容的提问来源于stack exchange，提问作者yac