如何在Python中为特征数量可变的数据集训练kNN算法

嘿，这个问题的核心卡点其实很明确：kNN算法要求输入的特征向量必须是固定维度的，而你的数据每条特征数量不一，所以第一步得把这些变长记录转换成统一的56维向量，之后就能正常用kNN训练了。下面给你拆解具体的实现思路和代码：

一、先把变长特征转成固定维度向量 #

你的56种特征相当于56个“固定位置”，每条记录都可以映射成一个56维的数组：

• 记录里有的特征：直接填对应的double数值
• 记录里没有的特征：选个合适的占位值填充，这里给你几个常用选项：
  • 用0填充：如果“特征不存在”本身就代表这个特征的取值为0（比如计数类特征，没出现就是0），这个最简单
  • 用均值/中位数填充：如果“不存在”更像缺失值，就用该特征在全量数据里的均值或中位数来补，避免引入偏差
  • 用NaN填充：但要注意，sklearn的kNN默认不支持NaN，得用支持处理NaN的距离度量（比如nan_euclidean），或者先做缺失值插补

举个直观例子：假设特征是f1到f56，某条记录只有f3=2.5和f10=7.1，转成向量后就是：[0, 0, 2.5, 0, ..., 7.1, ..., 0]（56个位置，只有对应特征的位置有值，其余补0）

二、Python具体实现步骤 #

1. 数据预处理：把原始数据转成固定维度矩阵 #

假设你的原始数据是字典格式（比如每条记录是{"features": {"f3":2.5, "f10":7.1}, "label": 0}），用pandas处理会很顺手：

import pandas as pd
import numpy as np

# 先列出所有56个特征的名称
all_features = [f"f{i}" for i in range(1, 57)]

# 示例原始数据（你可以替换成自己的数据集）
raw_data = [
    {"features": {"f3": 2.5, "f10": 7.1}, "label": 0},
    {"features": {"f1": 1.2, "f5": 3.3, "f56": 9.0}, "label": 1},
    # 更多你的数据...
]

# 把每条记录转成固定特征的字典，再拼成DataFrame
processed_records = []
for item in raw_data:
    # 先创建一个全为0的特征字典，再用存在的特征值更新它
    feature_row = {feat: 0.0 for feat in all_features}
    feature_row.update(item["features"])
    feature_row["label"] = item["label"]
    processed_records.append(feature_row)

df = pd.DataFrame(processed_records)

# 拆分特征矩阵X和标签y
X = df[all_features].values
y = df["label"].values

2. 训练kNN模型 #

用sklearn的KNeighborsClassifier就能搞定，这里以0填充的情况为例：

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化kNN模型，这里选k=3，你可以根据自己的数据调整
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)

# 预测并看一下准确率
y_pred = knn.predict(X_test)
print(f"模型准确率: {accuracy_score(y_test, y_pred):.2f}")

三、几个关键注意点 #

• 填充值别乱选：如果“特征不存在”和“特征值为0”完全是两个意思，用0填充会误导模型。这时候可以考虑：
  • 用一个远小于所有特征值的负数（比如-999）作为填充值，然后自定义距离函数忽略这些位置
  • 给每个特征加一个“是否存在”的二进制特征（比如f1_value和f1_exists），这样维度变成112维，能更精准区分“不存在”和“值为0”
• 记得做特征缩放：kNN是基于距离计算的，如果不同特征的数值范围差很大（比如有的特征是0-1，有的是100-1000），会严重影响距离计算结果。建议用StandardScaler做标准化：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 用标准化后的特征训练模型
knn.fit(X_train_scaled, y_train)

• 自定义距离度量（可选）：如果想只计算两条记录共同存在的特征之间的距离，可以自己写一个距离函数传给kNN：

def custom_common_feature_distance(a, b):
    # 只保留两条记录都非0的特征位置（假设0是填充值）
    common_mask = (a != 0) & (b != 0)
    if not np.any(common_mask):
        # 如果没有共同特征，返回一个大值（表示距离远）
        return np.inf
    # 计算这些共同特征的欧氏距离
    return np.linalg.norm(a[common_mask] - b[common_mask])

# 用自定义距离初始化模型
knn = KNeighborsClassifier(n_neighbors=3, metric=custom_common_feature_distance)

按照这个流程走，你就能顺利用kNN训练你的可变特征数据啦！

内容的提问来源于stack exchange，提问作者protti