如何为大型DataFrame指定列应用行级可变乘数

问题背景 #

现有如下结构的DataFrame：

c1   c2   c3   c4   c5
0   A    1    7   13   19
1   B    2    8   14   20
2   A    3    9   15   21
3   B    4   10   16   22
4   B    5   11   17   23
5   C    6   12   18   24

同时有一个按c1列值映射的乘数字典：

{'A':10, 'B':100, 'C':1000, 'D':10000}

需求是：对每行的指定列（排除c1和c5），乘以该行c1对应的乘数，同时要适配数十万行数据、数千个键值对的大数据场景，避免逐行迭代的低效问题。

高效解决方案 #

利用pandas矢量化操作实现，全程无循环，底层基于C优化，处理大数据量速度极快：

步骤1：生成每行对应的乘数序列 #

通过map方法将c1列的值映射为对应的乘数，字典中不存在的键（如示例中的D）不会影响现有数据：

import pandas as pd

# 初始化数据
df = pd.DataFrame({
    'c1': ['A', 'B', 'A', 'B', 'B', 'C'],
    'c2': [1, 2, 3, 4, 5, 6],
    'c3': [7, 8, 9, 10, 11, 12],
    'c4': [13, 14, 15, 16, 17, 18],
    'c5': [19, 20, 21, 22, 23, 24]
})

multiplier_dict = {'A':10, 'B':100, 'C':1000, 'D':10000}

# 生成每行的乘数
multipliers = df['c1'].map(multiplier_dict)

步骤2：批量运算指定列 #

通过multiply方法结合axis=0参数，让指定列的每行数据对应乘以该行的乘数，自动完成广播匹配：

# 方式1：排除不需要运算的列（适合列数多的场景）
cols_to_multiply = df.columns.difference(['c1', 'c5'])
# 方式2：手动指定需要运算的列（适合列数少的场景）
# cols_to_multiply = ['c2', 'c3', 'c4']

# 执行批量乘法并赋值回原DataFrame
df[cols_to_multiply] = df[cols_to_multiply].multiply(multipliers, axis=0)

最终结果 #

执行后得到目标DataFrame：

c1      c2      c3      c4  c5
0   A      10      70     130  19
1   B     200     800    1400  20
2   A      30      90     150  21
3   B     400    1000    1600  22
4   B     500    1100    1700  23
5   C    6000   12000   18000  24

方案优势 #

• 矢量化操作：全程无Python层面的循环，底层基于C实现，处理数十万行数据的效率是逐行迭代的数十倍甚至上百倍。
• 高效映射：map方法对字典映射做了优化，即使字典有数千个键值对，也能快速完成列值到乘数的转换。
• 灵活适配：支持通过“排除列”或“指定列”两种方式选择运算目标，适配不同场景的列数需求。

内容的提问来源于stack exchange，提问作者Ian Miner