Pandas axis使用疑问:非方形DataFrame行列归一化异常求助
非方形DataFrame双向z-score归一化的维度异常问题排查与实现
实际场景与需求
- 基于从字典创建的形状为[70k行, 300列]的非方形DataFrame,需分别实现两种归一化流程:
- 流程一:先按列方向做z-score归一化,再按行方向做z-score归一化
- 流程二:先按行方向做z-score归一化,再按列方向做z-score归一化
- 此前对形状为[70k行,70k列]的方形DataFrame实现同类逻辑时,直接用逐元素运算的写法可完全得到预期结果:
dfNegInfoClearRev = (df - df.mean(axis=1)) / df.std(axis=1).replace(0, 1) dfNegInfoClearRev = (dfNegInfoClearRev - dfNegInfoClearRev.mean(axis=0)) / dfNegInfoClearRev.std(axis=0).replace(0, 1)
异常现象
将相同运算逻辑套用到非方形DataFrame上,执行“先列向归一化、再行向归一化”的代码时:
# 第一步列向归一化:可正常输出[70k, 300]形状的结果 dfRINegInfo = (dfRI - dfRI.mean(axis=0)) / dfRI.std(axis=0).replace(0, 1) # 第二步行向归一化:执行后触发异常 dfRINegInfoRows = (dfRINegInfo - dfRINegInfo.mean(axis=1)) / dfRINegInfo.std(axis=1).replace(0, 1)
最终输出结果为形状[70k, 70k+300]的全NaN矩阵,伴随大量重复列名。
目前临时用如下代码实现行向归一化:
dfRIInter = dfRINegInfo.sub(dfRINegInfo.mean(axis=1), axis=0) dfRINegInfoRows = dfRIInter.div(dfRIInter.std(axis=1), axis=0).fillna(1).replace(0, 1)
但无法确认输出是否符合归一化预期,也不清楚异常触发的原因。
异常根因
核心触发逻辑是pandas的算术运算规则并非numpy式的纯数值维度广播,而是基于轴标签的强制对齐:
- 当直接执行
df - series形式的运算时,pandas默认将Series的索引与DataFrame的列索引做匹配对齐,而非行索引 - 此前方形DataFrame场景下运算正常,本质是巧合:这类方形矩阵的行索引、列索引完全一致(例如都是0~69999的整数序列),按行计算均值得到的Series(索引为行标签)在和DataFrame做减法时,刚好能匹配上列标签,结果符合预期
- 非方形DataFrame场景下,行索引(70k个元素)和列索引(300个元素)长度不匹配、标签不完全重叠,此时直接用
df - 行均值Series运算时,pandas会为Series中存在、但DataFrame列索引中不存在的标签新增列,最终列数膨胀为「原DataFrame列数 + 行均值Series长度」,所有标签无法匹配的位置都会填充为NaN,也就是观测到的维度膨胀、全NaN的异常 - 列向归一化可以正常运行,本质就是列向计算得到的均值/标准差Series的索引,和DataFrame的列索引完全匹配,不需要额外指定对齐轴,这也是两种运算结果出现差异的核心原因
正确实现方案
归一化的核心是对指定轴的数值做「减均值、除标准差」的线性变换,需根据pandas的对齐规则显式指定匹配轴,同时对标准差为0的情况做兜底(避免除以0):
方案1:显式指定对齐轴(pandas原生推荐写法)
你之前临时使用的sub/div方法的运算逻辑完全符合z-score的数学定义,仅需优化兜底逻辑即可,无需额外冗余操作:
import pandas as pd # ========== 流程一:先列向归一化,再行向归一化 ========== # 第一步:列向归一化(列方向的均值/标准差索引与DataFrame列索引一致,可直接运算) col_mean = dfRI.mean(axis=0) col_std = dfRI.std(axis=0).replace(0, 1) # 标准差为0时兜底为1,避免除0 dfRINegInfo = (dfRI - col_mean) / col_std # 第二步:行向归一化,显式指定按行标签与DataFrame行索引对齐 row_mean = dfRINegInfo.mean(axis=1) row_std = dfRINegInfo.std(axis=1).replace(0, 1) dfRINegInfoRows = dfRINegInfo.sub(row_mean, axis=0).div(row_std, axis=0) # ========== 流程二:先行向归一化,再列向归一化(逻辑一致,仅调换顺序) ========== # 第一步:行向归一化 row_mean_2 = dfRI.mean(axis=1) row_std_2 = dfRI.std(axis=1).replace(0, 1) dfRI_row_norm = dfRI.sub(row_mean_2, axis=0).div(row_std_2, axis=0) # 第二步:列向归一化 col_mean_2 = dfRI_row_norm.mean(axis=0) col_std_2 = dfRI_row_norm.std(axis=0).replace(0, 1) dfRINegInfo_cols = (dfRI_row_norm - col_mean_2) / col_std_2
你原临时代码中的fillna(1)属于冗余操作:只要提前将标准差为0的位置替换为1,除法运算不会产生NaN,无需额外填充。
方案2:转numpy数组实现大矩阵快速运算
如果70k行的矩阵运算存在性能瓶颈,可转成纯numpy数组完成归一化,利用numpy的纯数值广播规避pandas的标签对齐开销,运算后再转回带索引的DataFrame即可:
import numpy as np # 以流程一“先列向再行向”为例 arr = dfRI.to_numpy() # 取numpy数组,无标签信息 # 列向归一化 col_mean = arr.mean(axis=0) col_std = arr.std(axis=0, ddof=1) # 与pandas默认的ddof=1标准差计算保持一致 col_std[col_std == 0] = 1 arr_col_norm = (arr - col_mean) / col_std # 行向归一化 row_mean = arr_col_norm.mean(axis=1, keepdims=True) row_std = arr_col_norm.std(axis=1, ddof=1, keepdims=True) row_std[row_std == 0] = 1 arr_row_norm = (arr_col_norm - row_mean) / row_std # 转回与原DataFrame索引、列名完全一致的结果 dfRINegInfoRows = pd.DataFrame(arr_row_norm, index=dfRI.index, columns=dfRI.columns)
内容的提问来源于stack exchange,提问作者Pedro.Alonso
相关产品推荐
相关产品推荐

