如何对pandas DataFrame逐行按不同列位置进行快速高效切片
问题原因
pandas的iloc花式索引逻辑和NumPy不同:当你给iloc传入两个等长的索引数组时,pandas默认返回行索引和列索引的笛卡尔积结果,而不是NumPy那种逐位置配对取值的逻辑,这就是你得到8行8列结果的核心原因。
最快实现方案
直接利用NumPy的索引逻辑处理DataFrame的底层数组,再包装回pandas对象即可,效率远高于任何循环方案:
import numpy as np import pandas as pd # 拆分索引元组 row_idx, col_idx = idx # 直接对底层numpy数组做逐位置索引,再转回Series result = pd.Series(df.to_numpy()[row_idx, col_idx], index=df.index[row_idx])
如果需要保留DataFrame格式,只需要追加to_frame()方法即可:
result_df = result.to_frame(name='target_value')
效率说明
- 转NumPy索引的方案是O(n)时间复杂度,全程向量化运算,没有Python层循环开销,数据量越大优势越明显,比普通Python循环快几十到上百倍。
- 如果你非要用循环实现,也完全没必要在pandas层遍历,先转NumPy处理再转回的效率依然远高于直接遍历DataFrame的行/列。
其他可选方案(效率低于NumPy方案)
如果不想直接操作底层数组,也可以用pandas的lookup方法实现:
row_labels = df.index[row_idx] col_labels = df.columns[col_idx] result = pd.Series(df.lookup(row_labels, col_labels), index=row_labels)
不过lookup方法本质是Python层封装的循环,数据量较大时效率远低于直接操作NumPy数组的方案。
内容的提问来源于stack exchange,提问作者Tom McLean
相关产品推荐
相关产品推荐

