如何用多线程优化千万级Pandas DataFrame分组随机选行效率？

嘿，处理1200万行的大DataFrame还在循环分组？这可太拖速度了！先给你一个能把效率拉满的矢量化方案，再聊聊多线程到底适不适合这个场景。

最优矢量化实现（比循环快N倍） #

完全不需要写循环，直接用pandas内置的分组采样功能就能搞定，代码简洁还高效：

import pandas as pd

# 第一步：给每个GROUP随机抽取1行，拿到这些行的索引
selected_rows = df.groupby('GROUP').sample(n=1)
selected_indices = selected_rows.index

# 第二步：初始化SELECTED列，给选中的行标记1，其余为0
df['SELECTED'] = 0
df.loc[selected_indices, 'SELECTED'] = 1

为什么这个方案更快？ #

原来的循环写法每次都要df.loc[df.GROUP == sec]遍历整个DataFrame，相当于把1200万行扫了5000+遍，时间复杂度是O(N*K)（N是总行数，K是分组数）。而groupby.sample是pandas底层优化过的操作，只需要遍历DataFrame一次完成分组，再在每个组内随机选行，时间复杂度直接降到O(N)，处理1200万行基本几秒就能完成。

关于多线程的可行性分析 #

其实不太推荐用多线程来解决这个问题，主要有两个原因：

• pandas的核心分组、采样操作已经是用C扩展实现的矢量化操作，本身就利用了CPU的高效计算，而Python的GIL（全局解释器锁）会限制多线程的并行效率，线程切换的开销反而可能让整体速度变慢。
• 分组采样的逻辑是高度聚合的，拆分到多线程处理需要额外做分组拆分、结果合并的工作，代码复杂度飙升，但性能提升非常有限——毕竟5000+分组的规模，矢量化方案已经足够快了。

如果真的要处理超大规模的数据（比如几十亿行），可以考虑用Dask这类分布式计算库，但对你当前的场景来说，上面的矢量化方案完全够用。

内容的提问来源于stack exchange，提问作者elgnoh