Pandas中含空格的部分字符串索引无法用loc访问问题排查

我有一个带字符串索引的DataFrame：

1
Abai                  Abai.1
Native to             Indonesia
Region                Borneo
Language family       Austronesian
ISO 639-3             None (mis)
Glottolog             abai1241

奇怪的是，当我使用loc访问"Native to"索引时：

df.loc["Native to"]

会返回KeyError；但用同样方法访问"Language family"索引却能正常返回Series对象：

In [5]: df.loc["Language family"]
Out[5]:
1    Austronesian
Name: Language family, dtype: object

其他不带空格的索引均正常，部分带空格的索引也存在类似无法访问的问题。

经过初步排查，我怀疑是"Native to"字符串中的空格导致的：

# 执行以下代码
df.loc[df.index.str.contains("Native")]

# 返回如下DataFrame
#                     1
# Native to           Indonesia

# 而添加空格后（注意多了一个空格）
df.loc[df.index.str.contains("Native ")]

# 返回空DataFrame

# 同时，同样添加空格的代码
df.loc[df.index.str.contains("Language ")]

# 返回
#                     1
# Language family     Austronesian

另外，使用.strip()方法处理索引后，问题仍然存在。请问这是什么原因导致的？是字符串本身的问题还是Pandas的Bug？

这不是Pandas的Bug，问题出在**"Native to"里的空格不是普通的半角空格（ASCII 32）**，而是其他空白字符，比如全角空格（ASCII 12288）、不间断空格（ASCII 160）或者制表符等。

验证方法 #

1. 查看索引字符串的原始表示，确认空白字符类型：

print(repr(df.index[1]))  # 假设"Native to"是第2个索引（索引从0开始）
# 输出类似 'Native\xa0to' 说明是不间断空格，'Native　to' 说明是全角空格

2. 查看空格的ASCII码：

# 提取"Native to"中的空格字符
space_char = df.index[1].split('Native')[1][0]
print(ord(space_char))
# 普通半角空格返回32，不间断空格返回160，全角空格返回12288

解决办法 #

1. 统一替换所有空白字符为普通空格：

# 使用正则替换所有空白字符（包括空格、制表符、全角空格等）
df.index = df.index.str.replace(r'\s', ' ', regex=True)
# 之后就可以正常用df.loc["Native to"]访问了

2. 直接匹配索引时忽略空白字符差异：
   如果不想修改索引，可以用正则匹配的方式定位：

# 匹配包含"Native"和"to"的索引，中间任意空白字符
target_idx = df.index[df.index.str.match(r'Native\s+to')][0]
print(df.loc[target_idx])

.strip()方法无效的原因是它只会去除字符串首尾的空白字符，而你遇到的问题是字符串中间的空白字符类型异常，所以无法解决。

内容的提问来源于stack exchange，提问作者Ülephaze