You need to enable JavaScript to run this app. Pandas axis使用疑问:非方形DataFrame行列归一化异常求助
优惠活动
大模型
产品
解决方案
定价
更多

Pandas axis使用疑问:非方形DataFrame行列归一化异常求助

非方形DataFrame双向z-score归一化的维度异常问题排查与实现

实际场景与需求

  • 基于从字典创建的形状为[70k行, 300列]的非方形DataFrame,需分别实现两种归一化流程:
    • 流程一:先按列方向做z-score归一化,再按行方向做z-score归一化
    • 流程二:先按行方向做z-score归一化,再按列方向做z-score归一化
  • 此前对形状为[70k行,70k列]的方形DataFrame实现同类逻辑时,直接用逐元素运算的写法可完全得到预期结果:
dfNegInfoClearRev = (df - df.mean(axis=1)) / df.std(axis=1).replace(0, 1)
dfNegInfoClearRev = (dfNegInfoClearRev - dfNegInfoClearRev.mean(axis=0)) / dfNegInfoClearRev.std(axis=0).replace(0, 1)

异常现象

将相同运算逻辑套用到非方形DataFrame上,执行“先列向归一化、再行向归一化”的代码时:

# 第一步列向归一化:可正常输出[70k, 300]形状的结果
dfRINegInfo = (dfRI - dfRI.mean(axis=0)) / dfRI.std(axis=0).replace(0, 1)
# 第二步行向归一化:执行后触发异常
dfRINegInfoRows = (dfRINegInfo - dfRINegInfo.mean(axis=1)) / dfRINegInfo.std(axis=1).replace(0, 1)

最终输出结果为形状[70k, 70k+300]的全NaN矩阵,伴随大量重复列名。
目前临时用如下代码实现行向归一化:

dfRIInter = dfRINegInfo.sub(dfRINegInfo.mean(axis=1), axis=0)
dfRINegInfoRows = dfRIInter.div(dfRIInter.std(axis=1), axis=0).fillna(1).replace(0, 1)

但无法确认输出是否符合归一化预期,也不清楚异常触发的原因。

异常根因

核心触发逻辑是pandas的算术运算规则并非numpy式的纯数值维度广播,而是基于轴标签的强制对齐:

  • 当直接执行df - series形式的运算时,pandas默认将Series的索引与DataFrame的列索引做匹配对齐,而非行索引
  • 此前方形DataFrame场景下运算正常,本质是巧合:这类方形矩阵的行索引、列索引完全一致(例如都是0~69999的整数序列),按行计算均值得到的Series(索引为行标签)在和DataFrame做减法时,刚好能匹配上列标签,结果符合预期
  • 非方形DataFrame场景下,行索引(70k个元素)和列索引(300个元素)长度不匹配、标签不完全重叠,此时直接用df - 行均值Series运算时,pandas会为Series中存在、但DataFrame列索引中不存在的标签新增列,最终列数膨胀为「原DataFrame列数 + 行均值Series长度」,所有标签无法匹配的位置都会填充为NaN,也就是观测到的维度膨胀、全NaN的异常
  • 列向归一化可以正常运行,本质就是列向计算得到的均值/标准差Series的索引,和DataFrame的列索引完全匹配,不需要额外指定对齐轴,这也是两种运算结果出现差异的核心原因

正确实现方案

归一化的核心是对指定轴的数值做「减均值、除标准差」的线性变换,需根据pandas的对齐规则显式指定匹配轴,同时对标准差为0的情况做兜底(避免除以0):

方案1:显式指定对齐轴(pandas原生推荐写法)

你之前临时使用的sub/div方法的运算逻辑完全符合z-score的数学定义,仅需优化兜底逻辑即可,无需额外冗余操作:

import pandas as pd

# ========== 流程一:先列向归一化,再行向归一化 ==========
# 第一步:列向归一化(列方向的均值/标准差索引与DataFrame列索引一致,可直接运算)
col_mean = dfRI.mean(axis=0)
col_std = dfRI.std(axis=0).replace(0, 1) # 标准差为0时兜底为1,避免除0
dfRINegInfo = (dfRI - col_mean) / col_std

# 第二步:行向归一化,显式指定按行标签与DataFrame行索引对齐
row_mean = dfRINegInfo.mean(axis=1)
row_std = dfRINegInfo.std(axis=1).replace(0, 1)
dfRINegInfoRows = dfRINegInfo.sub(row_mean, axis=0).div(row_std, axis=0)

# ========== 流程二:先行向归一化,再列向归一化(逻辑一致,仅调换顺序) ==========
# 第一步:行向归一化
row_mean_2 = dfRI.mean(axis=1)
row_std_2 = dfRI.std(axis=1).replace(0, 1)
dfRI_row_norm = dfRI.sub(row_mean_2, axis=0).div(row_std_2, axis=0)
# 第二步:列向归一化
col_mean_2 = dfRI_row_norm.mean(axis=0)
col_std_2 = dfRI_row_norm.std(axis=0).replace(0, 1)
dfRINegInfo_cols = (dfRI_row_norm - col_mean_2) / col_std_2

你原临时代码中的fillna(1)属于冗余操作:只要提前将标准差为0的位置替换为1,除法运算不会产生NaN,无需额外填充。

方案2:转numpy数组实现大矩阵快速运算

如果70k行的矩阵运算存在性能瓶颈,可转成纯numpy数组完成归一化,利用numpy的纯数值广播规避pandas的标签对齐开销,运算后再转回带索引的DataFrame即可:

import numpy as np

# 以流程一“先列向再行向”为例
arr = dfRI.to_numpy() # 取numpy数组,无标签信息
# 列向归一化
col_mean = arr.mean(axis=0)
col_std = arr.std(axis=0, ddof=1) # 与pandas默认的ddof=1标准差计算保持一致
col_std[col_std == 0] = 1
arr_col_norm = (arr - col_mean) / col_std
# 行向归一化
row_mean = arr_col_norm.mean(axis=1, keepdims=True)
row_std = arr_col_norm.std(axis=1, ddof=1, keepdims=True)
row_std[row_std == 0] = 1
arr_row_norm = (arr_col_norm - row_mean) / row_std
# 转回与原DataFrame索引、列名完全一致的结果
dfRINegInfoRows = pd.DataFrame(arr_row_norm, index=dfRI.index, columns=dfRI.columns)

内容的提问来源于stack exchange,提问作者Pedro.Alonso

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 09:27:00