解决K-Means聚类中稀疏矩阵合并时的维度不匹配问题

潜在原因 #

结合你的操作步骤，维度不匹配的核心问题通常出在这几点：

• 候选者数据条目数不一致：遍历候选者时，若某类数据（比如证书）部分候选者缺失且未补全，会导致work_data、skills_data、cred_data三个列表长度不同。后续若直接对三类列表分别纵向堆叠（vstack）后再横向合并（hstack），就会因三个大矩阵的行数不匹配报错。
• 稀疏矩阵填充时维度混淆：稀疏矩阵维度为(行数, 列数)，若填充时错误混淆行和列（比如把补列操作改成补行），会导致单个矩阵形状不符合(1, 最大列数)的要求，合并时触发维度错误。
• 合并顺序错误：正确逻辑是先为每个候选者横向合并三类数据矩阵，再将所有候选者的结果纵向堆叠。如果反过来先纵向堆叠每类数据，再横向合并三类大矩阵，一旦某类数据的候选者条目不全，就会出现维度不匹配。
• 单候选者数据矩阵形状异常：若单个候选者的某类数据矩阵不是单行（比如工作经历用多行存储），填充后行数不等于1，会导致横向合并时与其他单行矩阵的行数不匹配。

解决建议 #

1. 统一候选者条目数 #

遍历候选者时，即使某类数据缺失，也要为该候选者生成形状为(1, 对应最大列数)的零稀疏矩阵，确保三个列表长度完全等于候选者总数。

示例代码（基于Scipy稀疏矩阵）：

from scipy.sparse import csr_matrix, hstack, vstack

# 假设已通过前期遍历得到maxw、maxsk、maxcr
work_data = []
skills_data = []
cred_data = []

for candidate in candidates:
    # 处理工作经历数据，缺失则生成零矩阵
    work_mat = get_work_matrix(candidate)  # 替换为你的矩阵生成逻辑
    if work_mat is None:
        work_mat = csr_matrix((1, maxw))
    else:
        # 填充至最大列数，确保矩阵为单行
        if work_mat.shape[1] < maxw:
            padding = csr_matrix((1, maxw - work_mat.shape[1]))
            work_mat = hstack([work_mat, padding])
    work_data.append(work_mat)
    
    # 技能数据同理处理
    skill_mat = get_skill_matrix(candidate)
    if skill_mat is None:
        skill_mat = csr_matrix((1, maxsk))
    else:
        if skill_mat.shape[1] < maxsk:
            padding = csr_matrix((1, maxsk - skill_mat.shape[1]))
            skill_mat = hstack([skill_mat, padding])
    skills_data.append(skill_mat)
    
    # 证书数据同理处理
    cred_mat = get_cred_matrix(candidate)
    if cred_mat is None:
        cred_mat = csr_matrix((1, maxcr))
    else:
        if cred_mat.shape[1] < maxcr:
            padding = csr_matrix((1, maxcr - cred_mat.shape[1]))
            cred_mat = hstack([cred_mat, padding])
    cred_data.append(cred_mat)

2. 采用正确的合并顺序 #

先为每个候选者合并三类特征，再纵向堆叠所有候选者的结果：

# 合并单个候选者的三类特征
combined_candidates = []
for w, s, c in zip(work_data, skills_data, cred_data):
    # 提前校验，确保都是单行矩阵
    assert w.shape[0] == 1 and s.shape[0] == 1 and c.shape[0] == 1
    combined = hstack([w, s, c])
    combined_candidates.append(combined)

# 纵向堆叠得到最终特征矩阵（形状为：候选者总数 × 总特征数）
final_matrix = vstack(combined_candidates)

3. 添加形状校验 #

合并前加入校验逻辑，快速定位异常：

# 检查三类数据的候选者条目数一致
assert len(work_data) == len(skills_data) == len(cred_data) == len(candidates)

# 检查所有矩阵都是单行结构
for mat in work_data + skills_data + cred_data:
    assert mat.shape[0] == 1, f"异常矩阵形状：{mat.shape}"

4. 严格区分行/列维度 #

填充操作始终针对列维度：确保原矩阵是(1, 列数)的单行结构，填充后变为(1, 最大列数)，不要修改行数。

内容的提问来源于stack exchange，提问作者Jokester2