Pandas按索引列表查询时，如何过滤非存在索引的NaN行？

我完全懂你的需求——用.loc查询包含不存在索引的列表时，不想带出那些全是NaN的行，而且因为数据量极大，额外做删除NaN的操作太浪费资源，毕竟多一步处理就多一份开销。下面给你几个高效的实现方案，都是从根源避免生成NaN行的思路：

方法1：先筛选有效索引再查询（最直观高效） #

核心思路是先从待查索引列表里过滤出DataFrame实际存在的索引值，再用.loc查询，这样就不会产出无效行。如果你的索引列表很大，用集合操作会比遍历列表快得多，因为集合的存在性检查是O(1)的：

import pandas as pd

indexes_to_search = [1, 3, 4]
df = pd.DataFrame([(1, 2, 3), (4, 5, 6), (7, 8, 9)], columns=["id", "val1", "val2"]).set_index("id")

# 用索引的intersection方法快速筛选有效索引
valid_indexes = df.index.intersection(indexes_to_search)
result = df.loc[valid_indexes]
print(result)

输出结果正好是你想要的：

val1  val2
id
1    2.0    3.0
4    5.0    6.0

如果是小量索引，用列表推导式也很直观：

valid_indexes = [idx for idx in indexes_to_search if idx in df.index]
result = df.loc[valid_indexes]

方法2：用索引位置提取（适合超大数据量） #

另一种思路是先找到待查索引在DataFrame中的实际位置，再用.take()提取对应行，同样不会生成NaN行：

# 获取待查索引对应的位置，不存在的索引会返回-1
positions = df.index.get_indexer_for(indexes_to_search)
# 过滤掉无效位置，提取有效行
valid_positions = positions[positions != -1]
result = df.take(valid_positions)

这个方法的优势是get_indexer_for是pandas针对索引优化过的底层方法，在超大数据量下性能表现很好。

为什么不推荐先查再删NaN？ #

你提到不想额外删除NaN行是非常明智的——如果先查询出包含NaN的结果再用dropna()过滤，相当于多了一次全量数据的遍历和筛选，对于超大DataFrame来说，会额外占用内存和计算资源。上面的方法都是提前过滤无效索引，只查询真正存在的行，从根源避免了无效数据的生成，效率提升非常明显。

内容的提问来源于stack exchange，提问作者Cristhian Boujon