如何为CSV读取字段编写自定义验证器及排查失效问题

一、编写有效的自定义验证器 #

你的原有验证器存在逻辑不严谨、未正确转换目标类型的问题，以下是符合需求的有效验证器实现：

正整数验证器（适用于offer_id、sms_limit） #

def positive_int_validator(x):
    # 先尝试将输入转换为整数
    try:
        num = int(x)
    except ValueError:
        raise ValueError(f"值'{x}'不是有效整数，请输入正整数")
    # 验证是否为正整数（排除0和负数）
    if num <= 0:
        raise ValueError(f"值'{num}'不是正整数，请输入大于0的整数")
    return num

正浮点数验证器（适用于sms_price） #

def positive_float_validator(x):
    try:
        num = float(x)
    except ValueError:
        raise ValueError(f"值'{x}'不是有效浮点数，请输入正浮点数")
    # 验证是否为正浮点数
    if num <= 0:
        raise ValueError(f"值'{num}'不是正浮点数，请输入大于0的浮点数")
    return num

验证器的正确使用 #

在pd.read_csv中为每列指定对应转换器，确保所有列都执行验证逻辑：

import pandas as pd

df = pd.read_csv(
    "你的CSV文件路径.csv",
    converters={
        'offer_id': positive_int_validator,
        'sms_limit': positive_int_validator,
        'sms_price': positive_float_validator
    },
    encoding='utf-8',
    engine='python'
)

此时任意列出现不符合规则的值，都会立即抛出明确错误，终止读取并定位问题。

二、为何仅第一列接受int转换？ #

这个现象和pandas的类型推断机制以及你使用的engine='python'直接相关：

1. 引擎的类型推断逻辑：python引擎会逐行扫描列数据推断类型。如果某一列存在混合类型（比如既有数字又有字符串），pandas会将整列类型设为object（字符串类型）。此时使用int作为转换器时，仅能转换可识别的数字字符串，无法转换的字符串会被原样保留，不会触发错误，导致看起来“无验证效果”。
2. 第一列的特殊情况：如果offer_id列的所有值都能转换为整数，pandas会将该列推断为整数类型，int转换器会正常生效；而sms_limit或sms_price列若存在无法转换的字符串，引擎会将列类型设为object，int转换器仅对有效数字生效，非法值不会触发错误，因此你会看到只有第一列有验证效果。

内容的提问来源于stack exchange，提问作者harveeey