pandas筛选DataFrame索引后iloc访问报位置索引越界错误

在使用pandas进行数据处理时，需要修改DataFrame，仅保留同时存在于某向量中的索引，该向量是对DataFrame某一列执行运算得到的。使用的筛选代码如下（变量命名为dataset而非常规的dataframe/df）：

dataset = dataset.iloc[list(set(dataset.index).intersection(set(vector.index)))]

该代码可正常运行，相关DataFrame及部分索引情况如下：

但在处理后的新dataset中访问特定值时，触发single positional indexer is out-of-bounds报错，尝试的访问代码如下：

print(dataset.iloc[:, 21612])

为排除对iloc用法不熟悉的问题，还尝试了另外两种写法，同样触发报错：

print(dataset.iloc[21612, :])
print(dataset.iloc[21612])

核心诉求：

• 是否需要新建一列来“模拟”实际索引？
• 当前操作存在什么问题？
• 要求DataFrame尺寸变化后原有索引值完全不做修改：例如原DataFrame共21000行，筛选后仅剩余15000行，若索引20999通过了前述交集校验，仍需要使用20999作为索引访问对应数据。

核心问题 #

报错的本质是混淆了pandas两种索引器的定位逻辑：

• iloc是纯位置索引，传入的参数是从0开始计数的行/列位置编号，和自定义的索引标签没有任何关联。筛选后数据集只剩15000行，行位置编号最大为14999，传入21612必然触发越界错误，和原始索引有没有保留无关。
• loc才是标签索引，传入的参数会匹配DataFrame上实际留存的索引标签，完全满足“保留原始索引值直接访问”的需求。
• 另外当前的筛选写法存在隐藏问题：转set做交集会打乱原始行的排列顺序，如果对行顺序有要求，该写法会导致数据顺序错乱。

正确操作 #

1. 筛选环节建议使用pandas原生的索引交集方法，不会打乱原始行顺序，比转set的写法更稳妥：

# 取两个索引的交集，自动保留dataset原有的行排列顺序
keep_idx = dataset.index.intersection(vector.index)
dataset = dataset.loc[keep_idx]

2. 按原始索引标签访问数据时，直接使用loc即可，不需要额外新建列存储原始索引——pandas默认在筛选操作中会完整保留原始索引标签，只要不主动调用reset_index()，索引值不会发生任何变化：

# 访问索引标签为20999的整行数据
print(dataset.loc[20999])
# 访问索引标签为20999的所有列数据
print(dataset.loc[20999, :])

3. 如果确实需要按位置取数（比如取第N行、最后一列这类和索引标签无关的场景），再使用iloc，注意传入的位置参数不能超过筛选后数据集的行/列总数，例如筛选后共15000行，合法的行位置参数范围为0~14999。

不需要额外新建列模拟索引，只要选对索引器就能直接使用保留的原始索引访问数据。

内容的提问来源于stack exchange，提问作者arthurIsVibing