使用Cerberus验证DataFrame Schema时验证失败的问题求助

问题根源 #

你遇到的类型不匹配错误，核心原因是Pandas的df.to_dict()默认输出结构和Cerberus的验证预期不匹配：

• 默认的df.to_dict()会生成以列名为键，值是「索引映射字段值」的字典，结构示例：

  {'name': {0: 'Alice', 1: 'Bob', 2: 'Charlie'},
   'age': {0: 25, 1: 30, 2: 35},
   'city': {0: 'New York', 1: 'Paris', 2: 'London'}}
  

• 而你的Cerberus Schema定义的是每个字段（name/age/city）为单个字符串/整数类型，Cerberus会把每个列对应的字典判定为不符合类型要求，因此抛出错误。

解决思路 #

根据验证需求，分两种场景处理：

场景1：验证DataFrame的列数据类型（所有行的字段类型符合要求） #

调整Schema，针对每个列的字典结构，用valuesrules验证字典内的所有值类型：

import pandas as pd
from cerberus import Validator

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Paris', 'London']
})

data = df.to_dict()

# 调整Schema：每个列是字典，且字典内所有值符合对应类型
schema = {
    'name': {'type': 'dict', 'valuesrules': {'type': 'string'}},
    'age': {'type': 'dict', 'valuesrules': {'type': 'integer', 'min': 18}},
    'city': {'type': 'dict', 'valuesrules': {'type': 'string'}}
}

validator = Validator(schema)
is_valid = validator.validate(data)

if is_valid:
    print("Data structure is valid!")
else:
    print("Data structure is not valid.")
    print(validator.errors)

场景2：验证每一行的数据结构（更常见的业务场景） #

将DataFrame转换为行字典的列表（用df.to_dict('records')），然后验证整个列表的结构：

import pandas as pd
from cerberus import Validator

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Paris', 'London']
})

# 转换为行字典列表：[{'name': 'Alice', 'age':25, ...}, ...]
data = df.to_dict('records')

# 原Schema保持不变，验证每行数据
schema = {
    'name': {'type': 'string'},
    'age': {'type': 'integer', 'min': 18},
    'city': {'type': 'string'}
}

validator = Validator(schema)
# 批量验证所有行，返回布尔值列表
all_valid = [validator.validate(row) for row in data]

if all(all_valid):
    print("Data structure is valid!")
else:
    # 输出错误的行和对应的错误信息
    for idx, valid in enumerate(all_valid):
        if not valid:
            print(f"Row {idx} is invalid: {validator.errors}")

关键说明 #

• df.to_dict('records')是将DataFrame转为行结构字典列表的标准方式，适配大多数数据验证场景。
• 批量验证列表数据时，也可以使用Cerberus的Validator.validate_iterable()方法简化代码。

内容的提问来源于stack exchange，提问作者Starbucks