无循环从2m列生成m列：Pandas数据列计算优化问询

可以利用Pandas的向量化运算实现无循环、非硬编码的高效计算，核心思路是对配对列的DataFrame子集进行批量运算，再将结果合并回原表。

步骤说明 #

假设已获取配对列列表：

x_cols = ['a_x', 'b_x', 'c_x']
y_cols = ['a_y', 'b_y', 'c_y']

1. 提取配对列子集：直接从原DataFrame中取出所有_x和_y列，形成两个子DataFrame
2. 批量计算误差列：对两个子DataFrame执行向量化运算，一次性生成所有误差值
3. 重命名并合并：将计算结果的列名改为_err后缀，再合并回原DataFrame

完整代码 #

import pandas as pd
import numpy as np

# 生成示例数据（用户已有此部分可跳过）
colnames = [
    'foo', 'bar', 'baz',
    'a_x', 'b_x', 'c_x',
    'a_y', 'b_y', 'c_y',
]
rng = np.random.default_rng(0)
data = rng.random((20, len(colnames)))
df = pd.DataFrame(data, columns=colnames)

# 假设已获取配对列列表（若未获取，可通过以下方式自动提取）
# x_cols = [col for col in df.columns if col.endswith('_x')]
# y_cols = [col.replace('_x', '_y') for col in x_cols]
x_cols = ['a_x', 'b_x', 'c_x']
y_cols = ['a_y', 'b_y', 'c_y']

# 批量计算误差列
err_df = (df[x_cols] - df[y_cols]) / df[y_cols]
# 重命名列名（将_x替换为_err）
err_df.columns = [col.replace('_x', '_err') for col in x_cols]

# 合并回原DataFrame
df = pd.concat([df, err_df], axis=1)

效率说明 #

这种方式完全依赖Pandas的向量化运算，底层基于numpy的C级优化，避免了Python层面的for循环，在处理大数据量时性能远高于循环遍历列的方式。

内容的提问来源于stack exchange，提问作者DeltaIV