导入Excel至Pandas DataFrame后无法去除空格的问题

问题根源 #

你碰到的不是普通半角空格，而是非打印空白字符——比如全角空格、制表符、零宽空格、换行符这类肉眼不可见的字符，普通的str.strip()只能处理半角空格，对它们完全无效，这才导致筛选匹配失败。

先排查隐藏字符 #

先搞清楚到底是哪种隐藏字符在捣乱：

# 打印指定位置的原始字符串，所有隐藏字符都会显形
print(repr(df['Full Name'].iloc[3]))

比如输出如果是'Johsnon, AGuy\t'，说明末尾有制表符；如果是'　Johsnon, AGuy'，那就是全角空格在搞鬼。

针对性清理方案 #

方案1：正则批量处理所有空白类字符

一次性替换所有空白（包括空格、制表符、换行、全角空格）为单个空格，再去除首尾空白：

df['Full Name'] = df['Full Name'].str.replace(r'\s+', ' ', regex=True).str.strip()

方案2：Unicode标准化处理

针对全角字符、特殊Unicode空白，用标准化工具转换并清理：

import unicodedata
df['Full Name'] = df['Full Name'].apply(lambda x: unicodedata.normalize('NFKC', x).strip())

NFKC格式会把全角空格、全角字母转成半角格式，同时清理冗余的Unicode字符。

方案3：清除所有ASCII控制字符

如果是换行、退格这类ASCII控制字符，直接过滤：

df['Full Name'] = df['Full Name'].str.replace(r'[\x00-\x1f\x7f-\x9f]', '', regex=True).str.strip()

验证处理结果 #

处理完后可以用以下代码确认效果：

# 检查是否还有连续多余空白
print(df['Full Name'].str.contains(r'\s{2,}').any())
# 对比处理前后的字符串长度，看是否有变化
print(df['Full Name'].apply(len))

内容的提问来源于stack exchange，提问作者Jim Rutter