多语言社交应用不良词检测技术咨询：含变形词识别需求

核心检测逻辑 #

针对需求中的四类检测场景，核心判断逻辑为：输入文本的字符频率集合需包含不良词的完整字符频率集合（不区分字符顺序，允许额外字符），对应场景：

• 完全匹配（如输入abcd）：字符频率完全一致，自然满足包含关系
• 变位词（如输入abdc）：字符频率与不良词完全一致，满足包含
• 扩展词（如输入abcde）：字符频率包含不良词的所有字符，满足包含

多语言支持处理 #

要覆盖主流语言，需基于Unicode字符集做统一处理：

• 将输入文本和不良词转换为规范化Unicode格式（如NFC），规避同字符不同编码的问题（比如带重音的欧洲语言字符）
• 表意文字（中文、日文等）按单个字符统计频率；拼音文字（英文、法文等）可忽略大小写，提升检测覆盖率

实现步骤 #

1. 预处理模块 #

• 为不良词库中的每个词生成字符频率字典，例如不良词abcd对应的字典为{'a':1, 'b':1, 'c':1, 'd':1}
• 对用户输入文本做同样的字符频率统计，生成输入的频率字典

2. 匹配检测 #

遍历不良词库的频率字典，检查输入字典是否满足：不良词中的每个字符，在输入中的出现次数≥不良词中的次数。示例Python代码：

def check_bad_word(input_text, bad_word_freq):
    input_freq = {}
    for char in input_text:
        input_freq[char] = input_freq.get(char, 0) + 1
    # 校验所有不良词字符的频率是否达标
    for char, required_count in bad_word_freq.items():
        if input_freq.get(char, 0) < required_count:
            return False
    return True

# 示例：初始化不良词频率字典
bad_word = "abcd"
bad_word_freq = {char: bad_word.count(char) for char in bad_word}

# 测试三类场景
print(check_bad_word("abcd", bad_word_freq))  # 返回True
print(check_bad_word("abdc", bad_word_freq))  # 返回True
print(check_bad_word("abcde", bad_word_freq)) # 返回True

3. 性能优化 #

• 对高频不良词的频率字典做缓存，避免重复计算
• 若输入文本长度小于不良词长度，直接跳过该不良词的检测（不可能满足包含条件）
• 按语言分类处理多语言文本，提升检测效率

4. 警告触发 #

检测到匹配的不良词时，直接向用户返回预设警告，例如："你的消息包含违规内容，请修改后重新发送。"

内容的提问来源于stack exchange，提问作者Manglam Industrial Product