含脏数据的DataFrame/文件列数据类型自动推断方法

针对含错误值、缺失占位符、非标准化格式的脏数据列类型识别需求，以下是两类经过实测可行的方案，识别结果可直接与DataFrame列键一一映射，解决messytables原生识别准确率低的问题。

高鲁棒性类型推断方案（无需手动预处理） #

这类工具/方法内置了脏数据容错逻辑，不需要提前做数据标准化即可输出高准确率结果：

• PyArrow后端Pandas原生推断：Pandas 2.0+版本切换PyArrow作为计算后端后，类型推断逻辑对非标准化格式的容错度大幅提升。使用时先传入通用缺失值列表统一识别空值，再调用convert_dtypes()做批量推断，对千分位逗号、多格式日期、文本布尔值的识别准确率远高于老版本默认逻辑。
• Visions语义类型推断库：专门为类型语义检测设计的工具，内置常见脏数据模式兼容逻辑：自动识别带千分位分隔符的数字、混排多格式的日期/时间、不同写法的布尔值，支持自定义缺失值匹配规则，推断结果可直接输出为列名-类型的键值对，和DataFrame原生结构完全适配。
• PyJanitor增强推断接口：PyJanitor的infer_dtypes()方法在Pandas原生逻辑基础上做了增强，会自动剥离千分位、货币符号、前后空白等干扰字符后再做类型判断，对混杂无关字符的数值列识别效果提升明显。

通用无监督数据标准化流程（无需提前知晓数据特征） #

如果不想依赖第三方专用库，可以套用以下通用预处理+推断流程，不需要提前掌握任何数据特征即可完成标准化和类型识别：

1. 全局缺失值统一：先扫描全表所有单元格，将常见缺失占位符（空字符串、N.A、N.A.、NA、null、None、--等）统一替换为Pandas可识别的pd.NA，这一步不依赖列类型，可全局执行。
2. 逐列优先级试探转换：对每一列单独按「布尔>整数>浮点数>日期时间>时间>分类>字符串」的优先级做转换试探，设置转换成功率阈值（推荐90%，可根据业务场景调整）：

• 布尔类型：匹配所有常见布尔表达（True/False、true/false、Yes/No、是/否、1/0等），非空值全部命中候选集则判定为布尔类型
• 数值类型：先自动剥离千分位逗号、货币符号、百分号等非数值干扰字符，再尝试转换为整数/浮点数，非空值转换成功率达标则判定为对应数值类型
• 时间类型：调用支持模糊匹配的多格式日期解析器尝试解析，非空值转换成功率达标则根据解析结果判定为日期、时间或日期时间类型
• 剩余列如果非空值唯一值占比低于10%则判定为分类类型，否则判定为字符串类型

3. 结果映射输出：将每一列的判定结果与原DataFrame列键一一对应输出，同时可记录转换失败的异常值位置供人工校验。

参考实现代码 #

以下是适配测试数据集的实现示例：

import pandas as pd
import io
from visions.typesets import CompleteSet
from visions.functional import infer_type

# 测试数据集和原示例保持一致
data = {
  "decimals": ["N.A", "", "111", "111.00", "111,12", "11,111.34"],
  "dates1": ["N.A.", "", "02/17/2009", "2009/02/17", "February 17, 2009", "2014, Feb 17"],
  "dates2": ["N.A.", "", "02/17/2009", "2009/02/17", "02/17/2009", "02/17/2009"],
  "dates3": ["N.A.", "", "2009/02/17", "2009/02/17", "2009/02/17", "2009/02/17"],
  "strings": ["N.A.", "", "N.A.", "N.A.", "test", "abc"],
  "integers": ["N.A.", "", "1234", "123123", "2222", "0"],
  "time": ["N.A.", "", "05:41:12", "05:40:12", "05:41:30", "06:41:12"],
  "datetime": ["N.A.", "", "10/02/2021 10:39:24", "10/02/2021 10:39:24", "10/02/2021 10:39:24", "10/02/2021 10:39:24"],
  "boolean": ["N.A.", "", "True", "False", "False", "False"]
}
df = pd.DataFrame(data)

# 第一步：统一缺失值
na_values = ["N.A", "N.A.", "", "NA", "null", "None"]
df = df.replace(na_values, pd.NA)

# 方式1：PyArrow后端原生推断
df_arrow = df.convert_dtypes(dtype_backend="pyarrow")
print("PyArrow推断结果：")
print(df_arrow.dtypes)

# 方式2：Visions语义推断
typeset = CompleteSet()
print("\nVisions推断结果：")
print(infer_type(df, typeset))

messytables识别准确率低的核心原因是其仅基于固定样本做正则匹配，既没有内置通用缺失值识别逻辑，也不会自动剥离干扰字符，遇到多格式混排的列时极易误判为字符串类型。

内容的提问来源于stack exchange，提问作者M__