pandas read_csv能否像处理缺失值一样处理CSV中的错误数据？

问题本质 #

你遇到的ValueError是pandas解析数值列时，遇到非数值字符串**无法完成类型转换导致的。这个**是旧DBase系统的字段溢出标记：对应字段定义SOME_COL,N,2,0为总宽度2位、无小数位，仅支持0-99的整数存储，超出范围的数值导出时会被替换为**占位，本身不携带原始真实数值。

对齐缺失值处理逻辑的最优方案 #

之前查找pandas缺失值解法没有匹配到对应方案，是因为**不是pandas默认识别的缺失值标记，只要将其加入识别列表，就可以完全复用所有常规缺失值的处理流程，不需要编写复杂自定义代码。
直接利用pandas读文件的内置缺失值识别能力即可，和处理NaN、空字符串等常规缺失值的逻辑完全一致：

• 在pd.read_csv中通过na_values参数把**加入缺失值识别列表，pandas会自动跳过对该值的数值解析，不会触发转换报错，读取完成后目标列可直接使用可空整数类型存储。

import pandas as pd

df = pd.read_csv(
    "dbase_converted.csv",
    # 仅对SOME_COL列识别**为缺失值
    na_values={"SOME_COL": ["**"]}
    # 如果所有列遇到**都要当缺失值，可简化为：na_values=["**"]
)

自定义转换方案 #

如果不想把**直接当缺失值，需要对这类溢出值做特殊标记、替换为边界值等处理，可以通过自定义转换器实现，逻辑完全可控：

• 编写简单的解析函数，判断读取到的原始值如果是**，就返回自定义值，其余情况正常转成数值类型，通过converters参数传入即可生效。

import pandas as pd
import numpy as np

def parse_some_col(raw_val):
    val = raw_val.strip()
    if val == "**":
        # 可根据需求自定义返回值：
        # 返回缺失值，和内置na_values效果一致
        return pd.NA
        # 返回字段设计的最大有效值99
        # return 99
        # 返回特殊标记值，方便后续筛选溢出数据
        # return -1
    return int(val)

df = pd.read_csv(
    "dbase_converted.csv",
    converters={"SOME_COL": parse_some_col}
)

多列批量处理场景 #

如果导出的CSV里有多个数值列都存在同样的**溢出问题，不需要逐列配置参数，可以先将所有列按字符串类型读入，全局替换**后再统一做类型转换：

# 先按字符串全量读取，避免类型转换报错
df = pd.read_csv("dbase_converted.csv", dtype=str)
# 全局将所有**替换为缺失值
df = df.replace("**", pd.NA)
# 批量将需要的列转为可空整数类型
df["SOME_COL"] = df["SOME_COL"].astype("Int64")

注意事项 #

• 没有原始DB文件备份的前提下，**占位的数值无法从当前CSV中还原真实值，只能按缺失值或自定义标记处理。
• pandas 1.0及以上版本支持大写开头的*Int64*可空整数类型，存在缺失值时也不会强制把整数列转为浮点数，能保留数值类型的准确性。

内容的提问来源于stack exchange，提问作者AssenD