pandas读取Excel生成DataFrame后部分列条件匹配失效如何解决

首先需要确认Gender列的实际存储值是否存在隐形异常，执行以下代码排查：

• 打印单个单元格的原始表示，显示所有不可见字符：

print(repr(df.loc[0, 'Gender']))
# 打印该值每个字符的ASCII码，确认是否存在非打印字符/全角字符
print([ord(c) for c in str(df.loc[0, 'Gender'])])

这类导出文件匹配失败90%以上的原因，是生成Excel的程序自动插入了零宽空格、换行符、制表符等不可见控制字符，或者使用了全角英文字符，常规strip方法只能清除首尾标准空格，无法处理这类异常。

方案1：清理所有非可打印ASCII字符（适配90%场景） #

直接对Gender列执行正则清理，移除所有不在标准可打印ASCII范围内的字符，之后再做匹配即可：

import re
# 清理所有不可见控制字符、全角字符等异常内容
df['Gender'] = df['Gender'].astype(str).str.replace(r'[^\x20-\x7E]', '', regex=True)
# 现在再执行你的匹配逻辑即可
df['gender_bin'] = np.where(df['Gender'] == 'Male', 0, 1)

该方案不需要修改原始Excel文件，直接在pandas内存中处理，百万行级数据可秒级完成。

方案2：修正去空格操作的生效逻辑 #

你之前执行的df.applymap(...)没有赋值回原DataFrame，本身不会生效，修正为以下代码即可：

df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

如果清理后还是匹配失败，可以加一步大小写统一处理：

df['Gender'] = df['Gender'].str.strip().str.title()

方案3：全角字符转半角 #

如果排查确认是全角英文字符导致的匹配失败（比如Ｍａｌｅ，字符ASCII码大于127），可以用以下代码转换：

def full2half(s):
    res = []
    for c in str(s):
        ord_c = ord(c)
        if ord_c in range(0xFF01, 0xFF5E):
            res.append(chr(ord_c - 0xFEE0))
        elif ord_c == 0x3000:
            res.append(chr(0x20))
        else:
            res.append(c)
    return ''.join(res)

df['Gender'] = df['Gender'].apply(full2half)

内容的提问来源于stack exchange，提问作者dbugg