优化多参数压力测试Python代码运行速度的方法咨询

问题背景 #

需要对交易列表数据集进行多参数压力测试，当前通过三层循环遍历参数、复制数据集并拼接成大型DataFrame的方式运行效率较低，希望找到更高效的实现方案。

优化方案 #

核心思路是生成所有参数的笛卡尔积组合，再与原数据集做交叉连接（Cross Join），完全替代循环复制拼接的操作。这种方式利用pandas的向量化操作特性，避免了循环中反复复制数据和拼接的开销，大幅提升运行速度。

具体步骤：

• 生成包含所有参数组合的DataFrame（笛卡尔积）
• 为原数据集添加一个用于交叉连接的临时键
• 通过临时键将原数据集与参数组合DataFrame进行交叉连接，得到所有参数与原数据的组合
• 执行后续的计算逻辑

优化后代码示例 #

import pandas as pd

# 定义参数范围
volchange = range(-1, 2)
spreadchange = range(-10, 11)
flatchange = range(-10, 11)

# 生成所有参数组合的笛卡尔积DataFrame
params = pd.MultiIndex.from_product(
    [volchange, spreadchange, flatchange],
    names=['vol_change[pts]', 'spread_change[%]', 'spot_change[%]']
).to_frame(index=False)

# 为原数据集添加临时连接键
pos['dummy'] = 1
params['dummy'] = 1

# 交叉连接得到所有参数与原数据的组合
final_result = pd.merge(pos, params, on='dummy').drop('dummy', axis=1)

# 执行后续计算（修正原代码中未赋值的问题）
final_result['sim_vol'] = final_result['vol_change[pts]'] + final_result['ImpliedVolatility']
final_result['spread_change'] = final_result['spread'].multiply(final_result['spread_change[%]']) / 100
final_result['sim_spread'] = final_result['spread'] + final_result['spread_change']
final_result['spot_change'] = final_result['spot'] * final_result['spot_change[%]'] / 100
final_result['sim_spot'] = final_result['spot'] + final_result['spot_change']
final_result['sim_price'] = final_result['sim_spot'] - final_result['sim_spread']

优化效果说明 #

• 避免了三层循环中反复复制数据集和pd.concat的开销：pd.concat在循环中每次都会创建新的DataFrame，时间复杂度为O(n²)；而交叉连接是O(n*m)（n为原数据行数，m为参数组合数），效率提升显著。
• 当原数据集较大或参数组合较多时，优化后的代码运行速度会有数量级的提升。

内容的提问来源于stack exchange，提问作者Jojo