Pandas DataFrame多条件多类型动态查询异常排查

你遇到的问题根本不是query()不支持多数据类型组合，核心原因是DOB列未转换为日期类型，导致日期条件失效，进而让整个过滤逻辑出错。

关键问题点 #

你的DOB列是字符串格式（比如'01/01/2001'），直接用>比较的是字符串字典序，而非实际日期先后。比如字符串'02/01/1999'会被判定为大于'01/01/2000'，但实际日期更早。这种情况下DOB的过滤条件等于没生效，看起来就像只有身高条件在起作用。

解决步骤 #

1. 转换DOB列为日期类型 #

先把字符串格式的日期转成pandas的datetime类型，这是核心前提：

import pandas as pd

# 示例数据构建
df = pd.DataFrame({
    'Name': ['Bob', 'Jane'],
    'Gender': ['M', 'F'],
    'DOB': ['01/01/2001', '01/01/1999'],
    'Height': [74, 64]
})

# 转换DOB列，注意格式是月/日/年，对应%m/%d/%Y
df['DOB'] = pd.to_datetime(df['DOB'], format='%m/%d/%Y')

2. 动态生成规则查询语句 #

你原来的代码里循环分组规则却硬写了query字符串，等于白循环。正确做法是按规则分组，逐个生成对应条件：

# 规则表构建
rule_df = pd.DataFrame({
    'Rule_DF': ['Rule1', 'Rule1', 'Rule1', 'Rule2', 'Rule2', 'Rule2'],
    'Variable': ['Gender', 'DOB', 'Height', 'Gender', 'DOB', 'Height'],
    'Operator': ['==', '>', '>', '==', '>=', '<'],
    'Value': ['M', '01/01/2000', '72', 'F', '06/10/1998', '70']
})

# 按规则分组
grouped_rules = rule_df.groupby('Rule_DF')

# 存储每个规则的结果
result_dict = {}

for rule_name, group in grouped_rules:
    conditions = []
    for _, row in group.iterrows():
        var = row['Variable']
        op = row['Operator']
        val = row['Value']
        
        # 根据字段类型处理条件格式
        if var == 'Gender':
            # 字符串类型，值加单引号
            cond = f"{var} {op} '{val}'"
        elif var == 'DOB':
            # 日期类型，转成Timestamp格式
            date_val = pd.to_datetime(val, format='%m/%d/%Y')
            cond = f"{var} {op} pd.Timestamp('{date_val}')"
        elif var == 'Height':
            # 数值类型直接拼接
            cond = f"{var} {op} {val}"
        conditions.append(cond)
    
    # 用&连接所有条件，注意&前后加空格
    query_str = ' & '.join(conditions)
    # 执行查询并提取姓名列
    filtered_df = df.query(query_str)[['Name']]
    result_dict[rule_name] = filtered_df

# 查看结果
print("Rule1结果：")
print(result_dict['Rule1'])
print("\nRule2结果：")
print(result_dict['Rule2'])

疑问解答 #

• pandas.query()完全支持多数据类型组合：只要各列数据类型正确，字符串、日期、数值的条件可以正常组合过滤，不存在类型限制问题。
• 不需要更换PandaSQL：原生query()足够解决你的需求，问题出在日期列未转换和动态条件生成逻辑错误上。

内容的提问来源于stack exchange，提问作者KL_