如何通过维度重排对齐不同语料的word embedding numpy数组
问题本质
你要解决的是维度重排最小化公共词向量绝对差总和问题,本质上属于二分图最小权完美匹配问题,可通过匈牙利算法直接求解。
实现步骤
1. 构造匹配代价矩阵
假设向量维度为d,你有n对公共词向量:
- 把所有v1向量按维度聚合,对第
i个维度,提取所有词对v1在该维度的取值集合 - 把所有v2向量按维度聚合,对第
j个维度,提取所有词对v2在该维度的取值集合 - 代价矩阵
cost[i][j]的取值为:所有词对的|v1的第i维值 - v2的第j维值|的总和,也就是把v2的j维匹配给v1的i维时,会给总目标增加的代价
2. 求解最小权完美匹配
用最小权版本的匈牙利算法计算代价矩阵的最优匹配,得到的匹配结果就是你需要的重排索引:
- 若匹配结果为
match[i] = j,代表把v2的第j维重排到第i位,和v1的第i维对应 - 重排函数
reordered(v2)直接取v2[match]即可
3. 代码实现示例
直接调用scipy内置的线性分配函数即可,不需要自行实现匈牙利算法:
import numpy as np from scipy.optimize import linear_sum_assignment # 输入:v1_arr形状为(n, d),是所有公共词的v1向量集合;v2_arr形状为(n, d),是对应v2向量集合 def get_reorder_idx(v1_arr, v2_arr): d = v1_arr.shape[1] # 初始化代价矩阵 cost = np.zeros((d, d), dtype=np.float64) for i in range(d): v1_dim = v1_arr[:, i] for j in range(d): v2_dim = v2_arr[:, j] cost[i][j] = np.sum(np.abs(v1_dim - v2_dim)) # 求解最小权完美匹配 _, col_ind = linear_sum_assignment(cost) # 返回重排索引:重排后的v2第i位 = 原v2的col_ind[i]位 return col_ind # 使用示例 # 把你的向量对列表转为两个numpy数组 your_vector_pairs = [(v1, v2), (v1, v2), ...] # 替换为你自己的向量对 v1_arr = np.array([pair[0] for pair in your_vector_pairs]) v2_arr = np.array([pair[1] for pair in your_vector_pairs]) # 得到重排索引 reorder_idx = get_reorder_idx(v1_arr, v2_arr) # 单个v2向量的重排方法 def reordered(v2): return v2[reorder_idx] # 验证总损失 total_loss = np.sum(np.abs(v1_arr - v2_arr[:, reorder_idx])) print(f"重排后总绝对差:{total_loss}")
注意事项
- 当维度
d大于1000时,匈牙利算法O(d³)的时间复杂度会较慢,可改用贪心近似方案:对v1的每个维度,依次匹配当前未被占用的v2维度中代价最小的,精度损失很小的情况下速度提升显著 - 如果允许维度翻转(即v2维度乘以-1后再匹配),可在构造代价矩阵时,对每个v2维度额外计算乘以-1后的代价,取更小的那个记录翻转标记,匹配后同步处理即可进一步降低总损失
内容的提问来源于stack exchange,提问作者abbassix
相关产品推荐
相关产品推荐

