为何Pandas与SQL中Null值统计结果不一致？

你的SQL查询并非结果不正确，而是写法没有覆盖Null值的统计场景，加上Pandas与SQL对“空值”的定义存在差异，导致两边统计结果不一致。以下是具体原因和解决方法：

核心原因1：SQL COUNT(列名)的特性 #

COUNT(列名)会自动忽略该列的Null值，仅统计非Null的行数。而你用COUNT(c.Gender)查询时：

• 若某行的Gender为Null，这行不会被计入COUNT(c.Gender)的结果
• GROUP BY会将Null值作为单独分组，但该分组的COUNT(c.Gender)结果为0（因为组内全是Null值），容易被忽略

对比Pandas的isna().sum()，它直接统计列中所有NaN（即Pandas定义的Null值）的数量，自然会和SQL的结果产生差异。

核心原因2：数据中存在“伪空值” #

如果Pandas统计的Null值，实际对应SQL中的空字符串（''）、空格、制表符等非Null的空白值：

• SQL中这些值不属于Null，COUNT(c.Gender)会正常统计它们
• 若你在Pandas读取数据时，通过na_values参数将这些空白值转换成了NaN，isna()就会把它们统计为Null，导致两边结果不一致

解决办法 #

1. 修正SQL查询，正确统计Null值 #

改用COUNT(*)或COUNT(1)，它们会统计包括Null在内的所有行数，能和Pandas的统计结果对应：

SELECT c.Gender, COUNT(*) as cnt
FROM Contacts c
GROUP BY c.Gender 
ORDER BY cnt DESC

此时Null分组的cnt会显示实际的Null行数，你就能看到和Pandas匹配的统计结果。

2. 检查并统一“伪空值”处理 #

• 在SQL中查询是否存在空白值：

-- 统计空字符串、首尾带空格的值
SELECT 
  COUNT(*) AS empty_str_cnt,
  SUM(CASE WHEN Gender LIKE ' %' OR Gender LIKE '% ' THEN 1 ELSE 0 END) AS space_str_cnt
FROM Contacts;

• 在Pandas中检查非NaN的空白值：

# 统计空字符串数量
print((df_contacts['Gender'] == '').sum())
# 统计去除首尾空格后为空的值数量
print(df_contacts['Gender'].str.strip().eq('').sum())

如果存在这类值，可选择：

• 在SQL中将空白值转换为Null：UPDATE Contacts SET Gender = NULL WHERE Gender = '' OR TRIM(Gender) = '';
• 在Pandas中将NaN转换为空白值：df_contacts['Gender'] = df_contacts['Gender'].fillna('')

3. 确认Pandas读取数据的参数 #

检查pd.read_sql()或其他读取方法的参数，比如是否设置了na_values=['', ' ']将空白值转为NaN，这会导致Pandas和SQL对空值的判定标准不同，调整参数即可统一。

内容的提问来源于stack exchange，提问作者irohamca