BigQuery字符串字段Null值在DISTINCT统计时被计数问题

这一表现是符合ANSI SQL标准的正常行为，和BigQuery表schema的nullable配置、Plotly可视化逻辑均无关：

• DISTINCT关键字会将NULL视为一类独立的可比较值，所有NULL值在去重时会被归为同一组，最终作为单独一行返回
• 空字符串''是长度为0的合法字符串值，不属于NULL范畴，自然会被DISTINCT逻辑计入统计结果
  如果之前的空值赋值操作后，仍然出现疑似空值被计入的情况，需要先排查字段中是否混入了空格、换行符、零宽空格等不可见特殊字符，这类字符肉眼看起来和空值一致，但实际是有效字符串，会被正常统计。

• 从取数源头过滤无效空值
  如果不需要将「未作答」作为有效选项纳入统计，直接在查询时增加过滤条件，从传给Plotly的数据源中剔除NULL和空字符串即可，参考代码：

  SELECT DISTINCT answer_field
  FROM your_survey_table
  WHERE 
    answer_field IS NOT NULL
    AND TRIM(answer_field) != '' -- 同时过滤全空格/普通不可见字符的情况
  

  如果需要单独统计问卷未作答率，可以单独写聚合逻辑计算NULL值的占比，不要将NULL混入有效选项的去重结果中。
• 保留未作答维度时做显式标签映射
  如果业务上需要把「未作答」作为一个单独分类展示，不要直接将原始NULL值传入可视化组件，用IFNULL函数将NULL转换为有明确语义的文本标签，避免图表出现无标识的空项：

  SELECT DISTINCT
    IFNULL(TRIM(answer_field), '未作答') AS answer_option
  FROM your_survey_table
  

• 空值异常排查方法
  如果执行过滤后仍然存在异常空项，运行分组计数查询确认字段实际存储内容：

  SELECT
    answer_field,
    TO_JSON_STRING(answer_field) AS actual_value, -- 展示不可见字符的实际编码
    COUNT(1) AS record_count
  FROM your_survey_table
  GROUP BY answer_field
  

  注意：TRIM函数默认仅能去除普通半角空格、制表符、换行符，如果字段中存在零宽空格等特殊不可见字符，需要结合REGEXP_REPLACE编写正则规则做针对性清洗
  通过TO_JSON_STRING的返回结果可以直接识别各类肉眼不可见的特殊字符，针对性调整清洗规则即可。

内容的提问来源于stack exchange，提问作者Solrac