如何优化字符串中颜色名称的识别与提取精度？

当前方法及核心问题 #

我目前采用一种朴素方法识别并提取文本中存在细微变体或拼写错误的颜色名称，该方法在英文文本中的表现优于德文，但面临两类难以通过单纯扩展词汇表解决的共性问题：

• 拼写变体匹配失效：例如grey/gray、weiß/weiss这类人类视角相似度极高的拼写变体，当前基于字符统计的相似度计算（代码中自定义的word2vec为字符级统计，并非真正的语义词向量）无法正确匹配，甚至会出现grey与green相似度更高的错误结果；
• 未收录颜色无识别能力：例如颜色列表中未包含的brown这类颜色词，人类可通过上下文推断其为颜色，但当前方法完全无法识别。

扩展颜色词汇表理论上能缓解问题，但要覆盖所有拼写变体、小众颜色难度极大，现寻求其他优化方向或替代方案。

现有实现代码 #

from collections import Counter
from math import sqrt
import pandas as pd

# 已知颜色列表
colors = ['red','green','yellow','black','gray']

# 测试文本数据集
df = pd.DataFrame({
    'id':[1,2,3,4],
    'text':['grey donkey with black mane',
    'brown dog with sharp teeth',
    'red cat with yellowish / seagreen glowing eyes',
    'proud rooster with red comb']
    }
)

# 基于字符统计生成"词向量"
def word2vec(word):
    cw = Counter(word)
    sw = set(cw)
    lw = sqrt(sum(c*c for c in cw.values()))
    return cw, sw, lw

# 计算字符级余弦相似度
def cosdis(v1, v2):
    common = v1[1].intersection(v2[1])
    return sum(v1[0][ch]*v2[0][ch] for ch in common)/v1[2]/v2[2]


df['color_matches'] = [[(w,round(cd, 2),c) for w in s.split() for c in colors if (cd:=cosdis(word2vec(c), word2vec(w))) >= 0.85] for s in df.text]

测试结果 #

具体优化方向与替代方案 #

1. 替换字符级相似度为语义级词向量 #

当前自定义的word2vec仅基于字符统计，完全未考虑词的语义信息，这是拼写变体匹配错误的核心原因。建议换用预训练的语义词向量模型：

• FastText：天生适合处理拼写变体和未登录词，它会拆分词为子词（n-gram）计算向量，grey和gray的子词重叠度极高，语义相似度会远高于grey与green；
• 实现思路：加载预训练的FastText模型，计算文本词与颜色词的余弦相似度，设置合理阈值完成匹配。

2. 集成拼写纠错工具 #

针对拼写错误/变体问题，直接引入成熟的拼写纠错库：

• 英文场景可使用autocorrect或textblob，德文场景选用对应语言的纠错模型（如结合de_core_news_sm的纠错工具）；
• 流程：先对文本分词，对每个词做拼写纠错后，再与颜色列表匹配。

3. 基于上下文的颜色实体识别 #

解决未收录颜色问题，可结合上下文语义做实体识别：

• 使用预训练的多语言NER模型（如spaCy的多语言模型、Transformers中的BERT模型），自定义颜色实体分类任务，通过词的上下文判断其是否为颜色；
• 小样本场景下，可训练轻量分类模型，输入词+上下文片段，输出是否为颜色的判断结果。

4. 颜色词规则映射与词库扩展 #

• 整理常见颜色的拼写变体规则（如英文grey→gray、德文weiß→weiss），做规则映射，提前处理这类已知变体；
• 扩展基础颜色列表，引入权威颜色词库（如XKCD颜色列表、CSS标准颜色列表），覆盖更多常见颜色。

5. 混合方案：规则+语义+上下文 #

将多种方法结合，兼顾准确率与覆盖范围：

1. 先对文本做分词、大小写统一等预处理；
2. 用规则匹配已知的颜色拼写变体；
3. 对未匹配的词，做拼写纠错后再匹配颜色列表；
4. 对仍未匹配的词，用上下文语义模型判断是否为颜色。

内容的提问来源于stack exchange，提问作者HedgeHog