You need to enable JavaScript to run this app. 如何处理分类特征未知数量取值?TensorFlow/Keras有对应one hot encoding API吗?
优惠活动
大模型
产品
解决方案
定价
更多

如何处理分类特征未知数量取值?TensorFlow/Keras有对应one hot encoding API吗?

实现单词存在性二元特征的现成API

完全不需要手动为每个单词创建contains_xxx形式的特征列,TensorFlow/Keras的内置层可以直接完成全流程的自动处理,最匹配你场景的是TextVectorization层:

  • 这个层可以自动从输入的文本列学习构建词汇表,不需要手动整理所有单词的列表
  • 只要把层的output_mode参数设为multi_hot,输出结果就是和词汇表长度一致的二元向量:某个单词在当前文本里出现过,对应位置就置1,没出现就置0,和你手动遍历所有单词生成contains_some、contains_what这类二元列的效果完全等价,也就是典型的逐单词存在性的one-hot效果
  • 拆分逻辑默认按空格切分单词,刚好适配你“以单个单词为统计单元”的需求

举个和你现有pandas数据衔接的最简代码流程:

import tensorflow as tf
from tensorflow.keras import Sequential
from tensorflow.keras.layers import TextVectorization, Dense

# 初始化向量化层
text_vectorizer = TextVectorization(
    max_tokens=10000,  # 你提到词汇表规模不大,这个数值足够覆盖所有单词
    output_mode="multi_hot",  # *核心配置*:输出单词存在性的二元特征
    split="whitespace"
)

# 用你DataFrame里的Text列适配,自动构建内部词汇映射
text_vectorizer.adapt(df["Text"].values)

# 把向量化层直接作为模型的第一层,不需要手动做特征转换
model = Sequential([
    text_vectorizer,
    Dense(32, activation="relu"),
    Dense(1, activation="sigmoid") # 匹配0/1的二分类标签
])

这个流程里,从文本拆分、词汇表构建、到二元特征生成的所有步骤都由层内部自动完成,不需要额外在pandas里遍历单词生成特征列。

取值数量未知的分类特征通用处理方法

对于取值范围不固定、没办法提前穷举所有可能值的分类特征(不管是文本单词、还是用户标签、商品类别这类结构化分类字段),TensorFlow/Keras有一套通用的处理逻辑,不需要依赖外部pandas的特征工程操作:

  • 核心依赖是StringLookup基础层:所有取值无上限的分类特征,都可以通过这个层适配已知的取值集合,自动建立原始值到索引的映射,同时预留固定的*OOV(未登录值)*位置,遇到训练阶段没见过的新取值不会直接报错
  • 可以根据业务场景选择不同的输出模式:
    • 如果需要每个取值单独的二元特征(和你现在的文本需求一致),设置输出为multi_hot,直接生成存在性二元向量
    • 如果特征取值量特别大,生成全量二元向量会导致维度爆炸,可以设置输出为整数编码,后续接Embedding层把每个取值映射为低维稠密向量,适配大规模特征场景
  • 这套处理逻辑可以直接和模型打包在一起,部署时不需要单独跑前置的特征转换脚本,避免了手动pandas特征生成的适配问题

内容的提问来源于stack exchange,提问作者tensirflow

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 23:06:04