大矩阵多关键词行平均计算的性能优化方案咨询

针对你70k×700k规模矩阵的计算需求，核心优化思路是减少重复遍历操作：仅遍历一次列名建立映射，仅遍历一次矩阵完成所有关键词的累计计算，彻底解决多次循环导致的效率问题。

核心优化步骤 #

1. 预处理列名：建立关键词-列索引映射 #

先遍历一次列名数组，为每个关键词记录其匹配的所有列索引，同时统计每个关键词对应的列数（后续计算平均值用）。这一步只需要执行一次，避免每个关键词重复遍历700k列名。

2. 单次遍历矩阵：完成所有关键词的累计和计算 #

初始化每个关键词的行累计和数组，然后遍历矩阵的每一行每一列，将元素值直接累加到所有匹配该列的关键词的对应行位置。或者利用numpy的向量运算直接完成列选择与行平均，进一步提升效率。

代码实现方案 #

方案一：纯Python优化版本（适合中小规模，逻辑清晰） #

# 定义需要计算的所有关键词
keywords = ['Heart', 'brain', 'arm']

# 预处理：建立关键词到匹配列索引的映射（仅遍历一次names）
keyword_cols = {kw.lower(): [] for kw in keywords}
keywords_lower = [kw.lower() for kw in keywords]
for idx, name in enumerate(names):
    name_lower = name.lower()
    # 找出当前列名匹配的所有关键词
    matched_kws = [kw for kw in keywords_lower if kw in name_lower]
    for kw in matched_kws:
        keyword_cols[kw].append(idx)

# 记录每个关键词的匹配列数，避免重复计算
keyword_col_count = {kw: len(cols) for kw, cols in keyword_cols.items()}

# 初始化每个关键词的行累计和数组
row_total = len(matrix)
keyword_row_sum = {kw: [0.0]*row_total for kw in keyword_cols}

# 遍历矩阵一次，更新所有关键词的累计和
for row_idx, row in enumerate(matrix):
    for col_idx, val in enumerate(row):
        # 将当前元素值累加到所有匹配该列的关键词的对应行
        for kw in keyword_cols:
            if col_idx in keyword_cols[kw]:
                keyword_row_sum[kw][row_idx] += val

# 计算最终的行平均值列表
result = []
for kw in keywords:
    kw_lower = kw.lower()
    count = keyword_col_count[kw_lower]
    if count == 0:
        # 处理无匹配列的情况，返回全0数组
        result.append([0.0]*row_total)
    else:
        avg_list = [s / count for s in keyword_row_sum[kw_lower]]
        result.append(avg_list)

print(result)

方案二：Numpy向量运算版本（适合超大规模矩阵，效率提升显著） #

针对70k×700k的超大规模矩阵，纯Python循环仍会较慢，推荐使用numpy的C底层向量运算，效率提升几个数量级：

import numpy as np

# 将原矩阵转换为numpy数组（假设原矩阵是列表嵌套结构）
matrix_np = np.array(matrix, dtype=np.float64)

# 预处理关键词对应的列索引
keywords = ['Heart', 'brain', 'arm']
keyword_cols = {}
for kw in keywords:
    kw_lower = kw.lower()
    cols = [idx for idx, name in enumerate(names) if kw_lower in name.lower()]
    keyword_cols[kw_lower] = cols

# 直接利用numpy切片计算行平均值
result = []
for kw in keywords:
    kw_lower = kw.lower()
    cols = keyword_cols[kw_lower]
    if not cols:
        # 无匹配列时返回全0数组
        result.append(np.zeros(matrix_np.shape[0]).tolist())
    else:
        # 对指定列取行平均，numpy自动完成向量运算
        row_avg = matrix_np[:, cols].mean(axis=1)
        result.append(row_avg.tolist())

print(result)

优化效果说明 #

• 列名仅遍历1次，而非每个关键词遍历1次
• 矩阵仅遍历1次（纯Python版）或通过numpy向量运算直接完成（无显式循环）
• 提前统计列数，避免计算平均值时重复计数

内容的提问来源于stack exchange，提问作者Dianna Li