S3Object查询空字段WHERE条件无返回结果问题求助

S3 Select 对空值的识别逻辑会随存储文件格式（CSV/JSON/Parquet等）变化，且严格区分空字符串、NULL值、缺失字段三种场景，单独使用=''或者IS NULL无法覆盖所有空字段情况，可按以下方案解决：

通用兼容查询方案 #

所有存储格式都可以直接用以下组合条件查询所有空字段场景，覆盖空字符串、NULL、缺失字段、带空白字符的空值：

SELECT s3o.Id,s3o.Name,s3o.City FROM s3object s3o 
WHERE 
  -- 匹配显式设置为NULL的字段
  s3o.City IS NULL 
  -- 匹配JSON/Parquet中不存在该字段的场景
  OR s3o.City IS MISSING
  -- 匹配空字符串、仅含空格/换行符的空白字段
  OR TRIM(COALESCE(s3o.City, '')) = ''

不同存储格式的优化配置 #

CSV格式 #

如果你的数据存储为CSV，还可以在调用S3 Select的请求参数中开启EmptyAsNull配置，将所有空字符串自动识别为NULL，后续直接用IS NULL即可查询所有空字段：

// InputSerialization 中CSV配置示例
"CSV": {
  "FileHeaderInfo": "USE",
  "EmptyAsNull": true,
  "AllowQuotedRecordDelimiter": true
}

开启后可以直接用简化查询：

SELECT s3o.Id,s3o.Name,s3o.City FROM s3object s3o WHERE s3o.City IS NULL

JSON/Parquet格式 #

如果数据是JSON或Parquet格式，注意：

• 只有字段显式赋值为null时才会匹配IS NULL
• 字段不存在的场景必须用IS MISSING匹配
• 空字符串""需要单独用=''或者加TRIM匹配

内容的提问来源于stack exchange，提问作者I am Coder