EMR环境下Presto查询S3中JSON文件时json_extract返回null问题咨询

当前写法完全不符合json_extract函数的参数规则：该函数第一个入参要求是已加载到运行时内存的JSON格式字符串实体，本身不具备读取S3远端存储文件的能力。你直接把S3文件路径当JSON内容传入函数，一方面传入的路径字符串本身不是合法JSON格式，函数解析失败，另一方面也无法拉取远端文件的实际内容来匹配$.dateAvailability节点，最终结果必然返回null。

• 第一步：在Presto中注册S3路径对应的可查询外部表
  依托EMR集群已配置的Hive连接器，创建映射目标S3存储路径的外部表，让Presto能够正常拉取指定路径下的JSON文件内容。
• 第二步：选择兼容的文件格式配置
  建表时可先用通用json类型承接原始文件内容，避免字段类型不匹配导致的读取异常，参考建表语句：

  CREATE EXTERNAL TABLE s3_json_analytics (
    raw_content json
  )
  WITH (
    format = 'json',
    external_location = 's3a://random-s3-bucket/analytics/'
  );
  

• 第三步：调用json_extract提取目标字段
  从表中读取已加载的JSON内容传入函数，按需增加文件路径过滤减少不必要的全表扫描，参考查询语句：

  SELECT json_extract(raw_content, '$.dateAvailability')
  FROM s3_json_analytics
  WHERE "$path" = 's3a://random-s3-bucket/analytics/20210221/myjsonfile.json';
  

• 确认运行Presto查询的服务节点拥有对应S3路径的读取权限，避免IAM权限缺失导致文件静默读取失败、返回null的问题。
• 确认S3上的JSON文件格式合法：如果是逐行存储的NDJSON格式，保持建表时的json格式配置即可，Presto原生支持逐行解析；如果是单文件包裹整个JSON数组，需要额外配置对应的解析参数。
• 确认JSON路径表达式和实际文件内的字段层级、大小写完全匹配，避免因路径写错导致匹配不到节点返回null。

内容的提问来源于stack exchange，提问作者IndianGrandma007