如何将用户名与文本两类特征同时输入分类器完成二分类预测

要同时使用username和text两个字段训练分类模型，核心是分别对两类特征做独立编码，再拼接为统一特征矩阵输入模型，不要直接把两个字段拼接为单个文本喂给词袋模型，也不要先全量做特征转换再拆分数据集（会造成数据泄露），推荐用ColumnTransformer实现特征分流处理，代码可直接复用原有逻辑。

完整实现代码 #

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.compose import ColumnTransformer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 1. 定义不同字段的特征处理规则
preprocessor = ColumnTransformer(
    transformers=[
        # 正文文本字段沿用原有词袋特征提取逻辑
        ("text_feature", CountVectorizer(), "text"),
        # 用户名字段二选一即可：
        # 选项A：用户名为有语义的字符串时，用字符级n-gram提取特征，避免高基数维度爆炸
        ("name_feature", CountVectorizer(analyzer="char", ngram_range=(2, 4)), "username"),
        # 选项B：用户名为无意义高基数ID时，替换为目标编码（需提前安装category_encoders库，导入TargetEncoder）
        # ("name_feature", TargetEncoder(), ["username"])
    ]
)

# 2. 先拆分原始数据集，从根源避免数据泄露
X = dataset[["text", "username"]]
y = dataset["flag"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.35, random_state=42)

# 3. 生成训练/测试特征矩阵：仅在训练集拟合预处理器，测试集直接调用转换
X_train_processed = preprocessor.fit_transform(X_train, y_train)
X_test_processed = preprocessor.transform(X_test)

# 4. 模型训练逻辑和原有单特征场景完全一致
model = RandomForestClassifier()
model.fit(X_train_processed, y_train)

# 模型评估、预测调用方法不变
print(f"测试集准确率: {model.score(X_test_processed, y_test)}")

注意事项 #

• 禁止先对全量数据集做特征转换再做训练测试拆分：包括词袋统计、目标编码在内的所有特征处理逻辑，都只能用训练集的数据统计规则，否则会把测试集的信息泄露到训练过程，导致离线评估结果虚高。
• 不要用普通OneHotEncoder处理高基数username字段：如果你的数据集里用户名重复率极低（每个用户名仅对应1条记录），OneHot编码会生成维度极高的稀疏矩阵，大幅拖慢训练速度，同时严重降低模型泛化能力。
• 不推荐直接把username字符串拼接到text字段后共用同一个CountVectorizer：这种写法无法为两个字段单独配置特征提取规则（比如正文用词级统计、用户名用字符级统计），后续调优灵活度极差。

内容的提问来源于stack exchange，提问作者chainsox