如何高效实现Pandas DataFrame中10%行的随机替换？

嘿，针对你这个百万级DataFrame的行替换需求，我绝对懂你怕循环拖慢速度的痛点——毕竟在百万行数据上跑Python循环，那速度简直让人崩溃😅。下面给你一套完全基于Pandas矢量化操作的高效方案，性能拉满：

核心思路 #

不要逐行去采样和替换，而是一次性搞定所有要替换的行索引，再一次性采样足够数量的替换行，最后通过矢量化赋值完成替换，全程避免Python层面的循环，完全利用Pandas的C底层优化。

具体步骤（附代码） #

1. 获取要替换的行索引（关键：只取索引，节省内存） #

我们不需要把要替换的整行数据取出来，只需要它们的索引就行，这样能大幅减少内存占用：

import pandas as pd

# 你的示例DataFrame（百万行同理）
df = pd.DataFrame({'A': list(range(1, 16)), 'B': list(range(1, 16))})

# 随机选取10%行的索引，random_state可选，方便结果复现
replace_indices = df.sample(frac=0.1, random_state=42).index

2. 一次性采样足够的替换行 #

直接按要替换的行数采样，比循环每次取1行高效N倍：

# n=要替换的行数，replace=True允许重复采样同一行（根据你的需求调整，默认是False）
replacement_rows = df.sample(n=len(replace_indices), replace=True, random_state=42)

3. 矢量化替换（最关键的一步） #

直接通过loc赋值，全程是Pandas的矢量化操作，速度极快：

# 用.values跳过索引对齐，直接按顺序赋值，更快更直接
df.loc[replace_indices] = replacement_rows.values

为什么这个方案高效？ #

• 无Python循环：所有操作都是Pandas内置的矢量化方法，底层用C实现，处理百万行数据秒级完成
• 内存友好：只操作索引和必要的行数据，不会额外加载大量冗余数据
• 灵活可调：通过replace参数可以控制是否允许重复采样同一行，满足不同业务需求

可选：确保替换行与原行不同（仅当业务强制要求时） #

如果你的业务要求替换的行不能和原来的行完全相同（百万行下这个概率极低，一般不需要），可以用一个轻量循环过滤，但注意这会牺牲一点性能：

replacement_data = []
for idx in replace_indices:
    while True:
        sample = df.sample(n=1, random_state=42)
        # 对比原行和采样行是否完全一致
        if not sample.equals(df.loc[[idx]]):
            replacement_data.append(sample.values[0])
            break
df.loc[replace_indices] = replacement_data

效果验证（用你的示例DF） #

运行完代码后，你可以查看df.loc[replace_indices]，就能看到这些行已经被替换成随机采样的新行啦～

内容的提问来源于stack exchange，提问作者swifty