You need to enable JavaScript to run this app. 如何通过维度重排对齐不同语料的word embedding numpy数组
优惠活动
大模型
产品
解决方案
定价
更多

如何通过维度重排对齐不同语料的word embedding numpy数组

问题本质

你要解决的是维度重排最小化公共词向量绝对差总和问题,本质上属于二分图最小权完美匹配问题,可通过匈牙利算法直接求解。

实现步骤

1. 构造匹配代价矩阵

假设向量维度为d,你有n对公共词向量:

  • 把所有v1向量按维度聚合,对第i个维度,提取所有词对v1在该维度的取值集合
  • 把所有v2向量按维度聚合,对第j个维度,提取所有词对v2在该维度的取值集合
  • 代价矩阵cost[i][j]的取值为:所有词对的|v1的第i维值 - v2的第j维值|的总和,也就是把v2的j维匹配给v1的i维时,会给总目标增加的代价

2. 求解最小权完美匹配

用最小权版本的匈牙利算法计算代价矩阵的最优匹配,得到的匹配结果就是你需要的重排索引:

  • 若匹配结果为match[i] = j,代表把v2的第j维重排到第i位,和v1的第i维对应
  • 重排函数reordered(v2)直接取v2[match]即可

3. 代码实现示例

直接调用scipy内置的线性分配函数即可,不需要自行实现匈牙利算法:

import numpy as np
from scipy.optimize import linear_sum_assignment

# 输入:v1_arr形状为(n, d),是所有公共词的v1向量集合;v2_arr形状为(n, d),是对应v2向量集合
def get_reorder_idx(v1_arr, v2_arr):
    d = v1_arr.shape[1]
    # 初始化代价矩阵
    cost = np.zeros((d, d), dtype=np.float64)
    for i in range(d):
        v1_dim = v1_arr[:, i]
        for j in range(d):
            v2_dim = v2_arr[:, j]
            cost[i][j] = np.sum(np.abs(v1_dim - v2_dim))
    # 求解最小权完美匹配
    _, col_ind = linear_sum_assignment(cost)
    # 返回重排索引:重排后的v2第i位 = 原v2的col_ind[i]位
    return col_ind

# 使用示例
# 把你的向量对列表转为两个numpy数组
your_vector_pairs = [(v1, v2), (v1, v2), ...] # 替换为你自己的向量对
v1_arr = np.array([pair[0] for pair in your_vector_pairs])
v2_arr = np.array([pair[1] for pair in your_vector_pairs])

# 得到重排索引
reorder_idx = get_reorder_idx(v1_arr, v2_arr)

# 单个v2向量的重排方法
def reordered(v2):
    return v2[reorder_idx]

# 验证总损失
total_loss = np.sum(np.abs(v1_arr - v2_arr[:, reorder_idx]))
print(f"重排后总绝对差:{total_loss}")

注意事项

  • 当维度d大于1000时,匈牙利算法O(d³)的时间复杂度会较慢,可改用贪心近似方案:对v1的每个维度,依次匹配当前未被占用的v2维度中代价最小的,精度损失很小的情况下速度提升显著
  • 如果允许维度翻转(即v2维度乘以-1后再匹配),可在构造代价矩阵时,对每个v2维度额外计算乘以-1后的代价,取更小的那个记录翻转标记,匹配后同步处理即可进一步降低总损失

内容的提问来源于stack exchange,提问作者abbassix

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 00:30:01