NumPy二维数组按行计算方差：np.var使用、手动实现及报错解决

1. 现有numpy写法的准确性验证 #

当你的importedData是长度一致的嵌套二维列表（每个子列表对应一个时间点的x/y/z值）时，varPerTimestep = np.var(importedData, axis=1)的写法完全准确，计算结果和手动推导的结果完全一致，默认计算的是总体方差（ddof=0），可以直接使用。

2. 之前踩坑的原因说明 #

• 报错TypeError: list indices must be integers or slices, not tuple：原生Python列表不支持arr[行,列]这种numpy风格的元组式索引，这种语法是numpy数组独有的。如果直接对原生列表写importedData[0,:]，解释器会把逗号分隔的内容识别为元组类型的索引，自然抛出类型错误。
• 循环逻辑冗余错误：你之前写的循环遍历每一行，但循环体里完全没有使用当前遍历到的row变量，反而每次都对整个二维列表执行np.mean(importedData, axis=1)，就算不报错，逻辑也是无意义的重复计算。
• 无输出的代码逻辑偏差：你尝试写的逐行计算代码，既用了不兼容的列表切片语法，又把整个二维列表丢进了偏差值计算的生成器，没有按行匹配元素，就算跑通结果也是错误的。

3. 不依赖np.var的逐行方差手动实现 #

你网上找到的单组数据方差计算函数本身逻辑完全正确，不需要修改核心计算逻辑，只需要按行遍历数据传入函数即可。

方法1：复用通用方差函数 #

# 保留你找到的原始方差函数，不需要任何修改
def variance(data, ddof=0):
     n = len(data)
     mean = sum(data) / n
     return sum((x - mean) ** 2 for x in data) / (n - ddof)

# 逐行计算，直接遍历importedData的每一行传入函数
importedData = [[1, 2, 3],
                [4, 5, 6],
                [7, 8, 9]]
manual_var_result = [variance(row) for row in importedData]
# 结果和np.var(importedData, axis=1)完全一致：[2/3, 2/3, 2/3]

方法2：完全匹配你提到的公式实现 #

对应你给出的公式Var(S)=(⟨S_bar⋅S_bar⟩−⟨S_bar⟩⟨S_bar⟩)，逐行计算的代码如下，和方法1的计算结果完全等价，方便给同事做验证：

def variance_by_formula(row_data, ddof=0):
    n = len(row_data)
    # 计算⟨S_bar⟩：当前行所有观测值的均值
    row_mean = sum(row_data) / n
    # 计算⟨S_bar·S_bar⟩：当前行所有观测值平方的均值
    row_square_avg = sum(val**2 for val in row_data) / n
    # 代入公式得到总体方差
    row_var = row_square_avg - row_mean ** 2
    # 如需和numpy的ddof参数对齐，做对应系数调整
    if ddof > 0:
        row_var = row_var * n / (n - ddof)
    return row_var

formula_var_result = [variance_by_formula(row) for row in importedData]

大体积数据优化建议 #

如果你的数据量非常大，全量用纯Python循环计算会比较慢，可以先把原生列表转成numpy数组之后再做手动公式的逐行计算，速度会提升几个数量级，计算逻辑完全不变：

import numpy as np
# 先转成numpy二维数组
data_array = np.array(importedData)
# 逐行计算平方均值、行均值
row_square_avg = np.mean(data_array **2, axis=1)
row_mean = np.mean(data_array, axis=1)
# 代入公式
numpy_manual_var = row_square_avg - row_mean **2

内容的提问来源于stack exchange，提问作者NTS