优化pycel构建的Excel计算图模拟运行时性能

1. 消除重复计算冗余 #

• 缓存静态节点结果：遍历计算图，标记所有不依赖输入样本的节点（如固定值、仅依赖固定值的公式），提前计算一次并缓存结果，后续所有样本直接复用，避免Range Correlation Matrix!B2:I2这类单元格的重复求值。
• 重写核心计算函数：Pycel原生dotproduct等函数多为纯Python实现，性能受限。改用numpy.dot()等向量运算替代，依托C底层加速点积类计算，大幅降低耗时。
• 裁剪计算子图：目标仅需获取=AVERAGE(I2:X2)结果，无需遍历全6000节点。基于拓扑排序提取输入节点到目标单元格的依赖子图，仅计算该子图内节点，削减不必要的计算量。

2. 并行化落地方案 #

样本级并行（推荐，实现简单） #

样本间完全独立，适合多进程并行处理：

• 使用multiprocessing.Pool或concurrent.futures.ProcessPoolExecutor，规避GIL对CPU密集型计算的限制。
• 进程初始化时，在每个子进程内加载一次Pycel计算图，避免重复加载的开销；将输入样本分批分配给各进程，处理后汇总结果。
• 用numpy数组传递输入样本，替代原生列表，减少数据传递开销并提升计算效率。

节点级并行（进阶，需复杂处理） #

针对计算图中无依赖关系的节点，可并行计算：

• 对计算图做拓扑排序，将同一层级的无依赖节点分组，每组内节点可并行求值。
• 结合concurrent.futures.ThreadPoolExecutor处理I/O密集型节点，或用多进程处理CPU密集型节点，但需注意节点间的依赖同步问题，实现成本较高。

3. 其他优化细节 #

• 替换低效公式实现：将Pycel内置的AVERAGE等聚合函数替换为numpy.mean()，利用向量运算加速批量计算。
• 简化数据结构：自定义单元格标识到计算逻辑的映射字典，替代Pycel默认的复杂对象结构，减少属性访问开销。
• 禁用冗余检查：修改Pycel源码，关闭不必要的公式合法性检查、日志输出等，削减运行时额外开销。

内容的提问来源于stack exchange，提问作者BenBernke