如何高效替换大体积DataFrame多列内指定值为随机值

现有一个体量极大的DataFrame，样例数据结构如下：

核心需求：将a_1到a_1000列中所有取值为1的元素，替换为3-19区间的随机整数（即排除0、1、2的取值）。

当前可正常运行但写法冗余、性能较差的实现代码如下：

cols = ["a_" + str(i) for i in range(1, 1000+1)]

for col in cols:
    df[col] = df[col].apply(lambda x: random.choice(range(3, 20)) if x == 1 else x)
df.head()

直接对多列调用df[cols].apply(...)会抛出如下错误：

ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

针对大体量DataFrame，推荐使用矢量化操作替代逐列/逐元素循环，代码更简洁，运行性能可提升数十倍：

import numpy as np

cols = [f"a_{i}" for i in range(1, 1001)]
# 批量生成和目标列维度一致的随机值矩阵，取值范围为3-19
rand_matrix = np.random.randint(low=3, high=20, size=(len(df), len(cols)))
# 构造值为1的位置掩码
replace_mask = df[cols] == 1
# 按掩码完成替换：非1位置保留原值，值为1的位置替换为对应随机值
df[cols] = df[cols].where(~replace_mask, rand_matrix)

方案特点：

• 无显式循环，代码简洁易读
• 全程使用numpy、pandas原生矢量化操作，避免apply逐元素调用的性能损耗，适配百万行级别的大表
• 逻辑清晰，不会触发多列apply的真值判断歧义错误

内容的提问来源于stack exchange，提问作者Eldar Sultanow