代码优化咨询：Python处理信号数据远慢于Mathcad问题排查

性能问题分析 #

原代码的耗时集中在三处冗余设计：

• 采用iterrows逐行遍历SL_Only，pandas行遍历接口本身执行效率极低，仅适合小样本场景，13K行规模下序列化开销被大幅放大
• 循环内每次都对TxID_L执行布尔匹配查询参数，累计产生4万+次重复查询，存在大量无意义的计算开销
• 计算公式中除信号强度rsrp外，其余参数均为列级固定值，原代码每次循环重复计算该常量部分，进一步拉长耗时

优化思路 #

利用向量化运算替代循环，预计算所有固定参数，完全消除冗余计算：

1. 预先生成TxID与CF、F_BW的映射字典，避免循环中重复查询TxID_L
2. 提前计算每个列对应的公式常量部分，该部分与行数据无关，仅需计算1次
3. 直接利用pandas广播特性完成全表运算，一步得到结果

优化后代码 #

import numpy as np
import pandas as pd

# 预构建TxID到参数的映射字典，仅执行1次
cf_map = dict(zip(TxID_L['TxID'], TxID_L['CF']))
bw_map = dict(zip(TxID_L['TxID'], TxID_L['F_BW']))

# 预计算最优TxID的固定参数
max_cf = cf_map[SC_SL]
max_bw = bw_map[SC_SL]

# 预计算每列对应的公式常量部分，用Series对齐列名保证计算准确
cols = SL_Only.columns
col_const = pd.Series(
    [10 * np.log10(np.abs(
        (max_cf + 0.5 * max_bw - (cf_map[c] + 0.5 * bw_map[c])) / max_bw
    )) for c in cols],
    index=cols
)

# 全表向量化运算，直接得到结果
row_arr = (SL_Only + col_const).values.tolist()

性能说明 #

优化后代码完全消除了循环和重复查询，13K行3列的规模下执行耗时可降至10ms以内，和Mathcad执行效率持平。

内容的提问来源于stack exchange，提问作者Santosh KV