如何更高效地遍历参数字典为Pandas DataFrame赋值？

你的代码目前核心问题是多层嵌套循环+逐行赋值，完全违背了Pandas的向量化设计理念，数据量增大后性能会急剧下降。以下是针对性的优化方案：

一、核心问题分析 #

1. 多层嵌套循环：Python原生循环开销大，三层参数循环加上内层iterrows()逐行循环，时间复杂度为O(M*N*P*K)（M/N/P为参数列表长度，K为DataFrame行数），数据量变大后性能会指数级下滑。
2. 逐行赋值：iterrows()和loc逐行修改会频繁触发DataFrame内部重建，不仅速度慢，还会产生大量内存碎片。

二、优化方案 #

1. 生成参数笛卡尔积（替代嵌套循环） #

用itertools.product直接生成所有参数组合，代码更简洁，彻底避免多层嵌套：

import pandas as pd
import numpy as np
import itertools

params = {
    'streak_game': [3,4,5,6,7],
    'initial_bet': [50, 100, 150, 200, 250],
    'run_diff_abs': list(range(150, 40, -10))
}

# 生成所有参数组合
param_combinations = list(itertools.product(
    params['streak_game'],
    params['initial_bet'],
    params['run_diff_abs']
))

2. 批量生成DataFrame（替代逐行赋值） #

不要先创建空DataFrame再逐行修改，而是直接基于参数组合批量生成数据，再合并为最终结果：

方法一：循环生成临时DataFrame再拼接

适合需要在每个参数组合下做自定义计算的场景：

dfs = []
row_count = 99  # 对应原示例的1-99行

for streak, bet, runs in param_combinations:
    # 这里加入你的复杂逻辑，所有计算尽量用向量化操作
    temp_df = pd.DataFrame({
        'streak': [streak] * row_count,
        'bet': [bet] * row_count,
        'runs': [runs] * row_count,
        # 示例：向量化计算其他列
        'calc_col': streak * bet + runs * np.arange(1, row_count+1)
    }, index=np.arange(1, row_count+1))
    dfs.append(temp_df)

# 合并所有结果
final_df = pd.concat(dfs)

方法二：用多层索引直接生成（无循环，效率最高）

如果你的逻辑只是参数组合对应重复行，或者可以用全局向量化计算，直接用MultiIndex生成：

# 创建包含参数+行索引的多层索引
multi_idx = pd.MultiIndex.from_product([
    params['streak_game'],
    params['initial_bet'],
    params['run_diff_abs'],
    np.arange(1, 100)
], names=['streak', 'bet', 'runs', 'row_idx'])

# 转换为DataFrame，自动展开参数为列
final_df = multi_idx.to_frame(index=False)

# 全局向量化计算其他列
final_df['calc_col'] = final_df['streak'] * final_df['bet'] + final_df['runs'] * final_df['row_idx']

三、复杂逻辑的处理建议 #

如果你的实际逻辑涉及行级计算：

• 优先用NumPy向量化函数代替逐行循环，比如把计算逻辑写成接收数组的函数。
• 若必须用行级操作，用df.apply(axis=1)，但注意apply仍比向量化慢，仅作为备选。
• 避免在循环中修改已有的DataFrame，尽量一次性生成所有数据。

内容的提问来源于stack exchange，提问作者chasedcribbet