如何归一化spaCy的nlp.vocab.vectors并保留原维度？

首先明确两个核心问题：

• nlp.vocab.vectors是spaCy的Vectors对象，并非原生numpy数组，直接操作会触发类型错误（如方法2的报错），需先转换为numpy ndarray。
• 你之前的方法计算的是整个矩阵的全局范数/统计量，导致广播后维度丢失，正确的做法是对每个行向量单独做归一化（NLP中通常用L2归一化，让每个词向量的模长为1）。

正确实现步骤 #

import spacy
import numpy as np

nlp = spacy.load('en_core_web_lg')
# 将spaCy Vectors转换为numpy数组
matrix = np.asarray(nlp.vocab.vectors)  # 形状(514157, 300)

# 方法：对每个行向量做L2归一化
# 计算每行的L2范数，axis=1表示按行计算，keepdims=True保持维度为(514157,1)，方便广播
norms = np.linalg.norm(matrix, axis=1, keepdims=True)
# 避免除以0，添加极小值epsilon
epsilon = 1e-10
matrix_norm = matrix / (norms + epsilon)

print(matrix_norm.shape)  # 输出(514157, 300)，保留原维度

错误原因解析 #

1. 方法1/3维度丢失：np.linalg.norm(matrix)默认计算整个矩阵的Frobenius范数（一个标量），matrix / 标量会触发广播，但spaCy的Vectors对象广播行为特殊，导致输出维度变为(514157,)；转换为numpy数组后，若不指定axis，同样会用全局标量做除法，虽然维度会保留但结果不是每个向量单独归一化，不符合需求。
2. 方法2类型错误：直接对spacy.vectors.Vectors对象做**2操作，该类型不支持此运算，必须先转换为numpy数组。

其他归一化方式（可选） #

如果需要做全局标准化（每个特征维度均值为0，方差为1），则按列计算统计量：

# 全局标准化
mean = np.mean(matrix, axis=0, keepdims=True)
std = np.std(matrix, axis=0, keepdims=True)
matrix_standardized = (matrix - mean) / (std + epsilon)
print(matrix_standardized.shape)  # 输出(514157, 300)

内容的提问来源于stack exchange，提问作者OLGJ