无标签产品易碎/非易碎分类聚类算法实现思路与文献咨询

你当前的场景属于典型的零/少样本文本属性分类场景，纯关键词法难以落地的核心原因是没有覆盖否定语义、长尾品类、隐含属性三类问题，不建议一开始就做纯无监督聚类——无监督聚类输出的语义簇不会自动对齐易碎/非易碎的判断维度，比如会把玻璃杯和抗摔塑料杯归到同一个“水杯”簇，后续人工映射成本反而更高。

分阶段落地路径（按优先级排序，最快1周可上线可用版本） #

• 冷启动阶段：规则+伪标签构建，零人工标注成本
  你最初的关键词思路优化后可以直接用：
  1. 先整理20-30个核心种子词：易碎侧覆盖材质（玻璃、陶瓷、液晶屏、石膏、水晶）、品类（鸡蛋、红酒、手办、精密电子元件）、包装提示（轻放、怕压、勿摔）；非易碎侧覆盖材质（纯棉、厚金属、硬实木、橡胶）、品类（五金工具、纯棉服饰、纸质印刷品、普通硬塑料件）。
  2. 加基础匹配规则：用3-gram窗口检测匹配词前后3个字范围内的否定/反义修饰，比如“抗摔玻璃”“防碎陶瓷”这类表述命中后直接排除易碎标签，避免误判。
  3. 做置信度分层：同时命中≥2个同类别种子词、无反向修饰的样本，标记为高置信伪标签样本，一般跑完这步能拿到占总数据量30%-40%的高置信样本，足够训练初始模型。
• 模型迭代阶段：轻量语义模型微调，解决长尾覆盖问题
  拿上一步攒的高置信伪标签当训练集，不需要额外标注新数据：
  1. 选轻量开源文本模型即可，比如bge-small-zh-v1.5、ernie-3.0-tiny，参数量仅几十M，CPU上单条推理耗时不到10ms，部署成本极低。直接做二分类微调，把产品标题、描述、参数字段拼接后作为输入，训练5轮以内就能收敛，这一步能覆盖80%以上关键词匹配不到的隐含属性样本，比如“树脂手办”“液晶面板”这类没直接提“易碎”的样本。
  2. 如果数据集带产品图片，可以加轻量CLIP模型做文本+图像的多模态融合，精度能再提升10%左右，不需要额外标注数据。
• 兜底优化阶段：聚类辅助迭代，把精度拉到业务可用标准
  对模型预测置信度<0.7的模糊样本，用文本embedding做KMeans聚类（聚成10-15个簇即可），每个簇抽10-20条样本人工校验：
  1. 把错分样本对应的新词、新规则补到种子词表
  2. 把校验后的样本加入训练集做微调
     一般迭代2-3轮，整体分类精度就能稳定在95%以上，完全满足仓储、物流场景的使用需求。

避坑提示：不要直接用通用预训练模型做零样本分类，通用模型对垂直领域产品属性的判断准确率通常不到60%，远不如弱监督冷启动训出来的小模型好用。

可直接复用思路的参考论文 #

• Weakly Supervised Text Classification Using Only Label Names：讲解如何只用类别名称（即种子词）构建高准确率弱监督文本分类器，里面的噪音标签过滤方法可以直接套用到冷启动阶段。
• Bag of Tricks for Efficient Text Classification：fastText的核心实现论文，如果需要处理百万级以上的产品数据，用这个方法训练分类器，单条推理耗时不到1ms，服务器成本能压到最低。
• Improving Multimodal Product Attribute Prediction with Weak Supervision：针对电商产品属性提取场景的多模态方案，不需要大量标注数据就能结合文本、图片信息判断属性，适合带商品图的数据集。
• Semi-supervised Text Clustering with Label Guidance：讲解如何用少量已知标签引导聚类方向，避免聚类结果偏离业务需求，适合处理模糊样本的兜底环节。

内容的提问来源于stack exchange，提问作者Prince Modi