如何区分数据集中Object类型的类别型与文本型变量？有无判定阈值？

核心区别先明确 #

类别型变量是有限、离散的枚举类标签，用于划分样本的不同组别；文本型变量是无固定取值范围、以自然语言为载体的内容，用于承载描述性信息。二者虽同属Object类型，但可通过以下方法区分：

具体判定方法 #

• 看唯一值数量与样本量的关系
  类别型变量的唯一值数量通常远小于样本总量，比如1000条样本里，唯一值可能只有个位数到几十个；而文本型变量的唯一值数量往往接近样本量（比如每条用户评论都不同），或者占比极高。
• 看取值的形态特征
  类别型的取值一般短且固定，比如「男/女」「一线城市/二线城市」「已完成/未完成」；文本型的取值长度差异大，包含完整的语句、段落，比如「这款产品续航不错，但手感偏沉」「今天的会议讨论了Q3的营销方案」。
• 结合业务语义判断（最靠谱）
  从业务场景出发，判断变量的用途：「用户会员等级」是用来分组的类别型，「用户投诉内容」是承载信息的文本型；「商品所属品类」是类别型，「商品详细介绍」是文本型。
  注意特殊情况：有些看起来像文本的变量实际是类别型，比如「邮政编码」「航班号」，它们的取值是固定格式的字符串，但本质是用于标识特定组别的类别。

有没有判定阈值？ #

没有绝对通用的阈值，需结合样本量和业务场景调整，但有一些经验参考：

• 绝对数量：当样本量≥1000时，若唯一值数量≤50，优先判定为类别型；若唯一值数量≥样本量的30%，大概率是文本型。
• 占比比例：唯一值占总样本的比例<10%，更倾向于类别型；比例>50%，更可能是文本型。
  比如10万条样本里，某变量有80个唯一值，属于类别型；但100条样本里，某变量有60个唯一值，那大概率是文本型（比如每条用户的短评价）。

内容的提问来源于stack exchange，提问作者The Data Guy