如何在R及其他编程语言中扫描并标记编码错误的缺失值

回答 #

R语言解决方案 #

1. 基础tidyverse自定义方案

不需要额外安装特殊功能包，你可以自行维护疑似缺失值列表，配合dplyr的across()函数实现全表扫描，支持直接替换为标准NA，也可以生成独立的标记矩阵。
示例代码：

library(dplyr)
# 可随时按需扩展该列表的匹配条目
possible_missing <- c("n/a", "not available", "incomplete", "unknown", 
                      "null", "nil", "not provided", " ", 99999999, 
                      as.Date("9999-01-01"), "000-000-0000", "*", "-")
# 全表替换为标准NA
df_clean <- df %>%
  mutate(across(everything(), ~ifelse(.x %in% possible_missing, NA, .x)))

# 仅生成缺失标记矩阵（不修改原数据）
missing_flag <- df %>%
  mutate(across(everything(), ~.x %in% possible_missing))

2. naniar包

专门面向缺失值处理的工具包，支持更灵活的匹配规则，比如正则匹配、按列类型单独设置匹配逻辑，还内置了缺失值统计、可视化功能，replace_with_na_all()等系列函数可以直接传入自定义规则完成批量处理，适配性远高于固定识别逻辑的函数。

3. visdat包

可生成全表数值类型、异常值分布的热力图，预处理阶段可以直观看到疑似缺失值的聚集区域，配合naniar使用可以大幅提升排查效率。

Python解决方案 #

使用pandas内置方法即可实现全表批量匹配，不需要额外依赖：

import pandas as pd
import numpy as np
possible_missing = ["n/a", "not available", "incomplete", "unknown", 
                    "null", "nil", "not provided", " ", 99999999, 
                    "9999-01-01", "000-000-0000", "*", "-"]
# 全表替换为标准np.nan
df.replace(possible_missing, np.nan, inplace=True)

如果需要自动识别功能，可使用ydata-profiling生成数据探查报告，工具会自动标记常见的异常缺失值并输出对应的统计结果。

内容的提问来源于stack exchange，提问作者fractalmoon