大型DataFrame高效遍历:替代for循环获取year列NaN对应的ids
高效获取DataFrame中year列为NaN的ids数组
你的嵌套循环效率极低,核心问题是遍历了所有行列(实际只需要检查year列),而且将NaN转为0的操作完全多余,还可能导致误判(如果year列本身存在合法的0值)。
直接用Pandas的矢量化操作就能解决,代码简洁且性能拉满:
# 筛选year列为NaN的记录,提取ids并转为数组 ids_array = df[df['year'].isna()]['ids'].to_numpy()
说明:
df['year'].isna()生成布尔序列,标记每条记录的year值是否为NaN- 用该序列筛选DataFrame,仅保留year为NaN的行
- 提取这些行的
ids列,最后用to_numpy()转为数组(需要列表则用.tolist())
用你提供的示例DataFrame运行后,会得到结果:array([2678, 4780]),完全符合需求。
这种方法基于Pandas底层的C实现,比Python循环快几个数量级,完美适配大型数据集。
内容的提问来源于stack exchange,提问作者maissam
相关产品推荐
相关产品推荐

