如何高效执行字典内存储的Python函数并转换为Pandas DataFrame

你原有方案的性能瓶颈主要来自3点：嵌套循环带来的大量Python层循环开销、每个函数重复调用n次的冗余开销、列表append动态扩容+分支判断的额外消耗。针对不同的函数场景可以用以下更高效的实现：

场景1：函数无状态，每次调用返回固定值（你的示例属于该场景） #

该场景下最优方案是仅调用每个函数1次，再批量扩充到指定行数，函数调用次数从「行数×字典键数」直接降到和字典键数一致，性能提升可达上百倍：

import pandas as pd

n_rows = 3 # 替换为你需要的总行数
# 仅执行一次所有函数，拿到每个列的固定返回值
col_value_map = {col_key: func() for col_key, func in func_dict.items()}
# 批量生成对应长度的列表，直接构造DataFrame
df = pd.DataFrame({
    col_key: [col_val] * n_rows 
    for col_key, col_val in col_value_map.items()
})

如果是百万行以上的超大规模数据，可以用numpy进一步优化内存和速度：

import pandas as pd
import numpy as np

n_rows = 1000000
col_value_map = {col_key: func() for col_key, func in func_dict.items()}
df = pd.DataFrame({
    col_key: np.full(n_rows, fill_value=col_val)
    for col_key, col_val in col_value_map.items()
})

场景2：函数有状态，每次调用返回值会变化（比如含随机数、读动态数据逻辑） #

该场景下需要调用函数n次，但依然可以优化掉嵌套循环和分支判断开销，比原有方案快3~5倍：

import pandas as pd

n_rows = 3
df = pd.DataFrame({
    col_key: [func() for _ in range(n_rows)]
    for col_key, func in func_dict.items()
})

以上所有方案都自动适配任意键名的函数字典，生成的DataFrame列名和func_dict的键完全对应，不需要额外修改适配逻辑。

内容的提问来源于stack exchange，提问作者Hans Geber