如何用Julia优雅识别语义相同但语序不同的字符串？

基础场景：基于词汇组成的比较 #

针对你给出的这类语序调换但核心词汇一致的简单场景，可以通过统一预处理字符串+词汇集合/排序对比实现，简洁高效：

1. 字符串预处理 #

先消除大小写、标点、冗余空格这类干扰项，提取纯净的单词列表：

function preprocess(s::AbstractString)
    # 转小写统一格式
    lower_str = lowercase(s)
    # 移除所有非字母、数字、空格的字符（比如标点）
    clean_str = replace(lower_str, r"[^a-z0-9\s]" => "")
    # 分割成单词并过滤空字符串（处理多空格情况）
    return filter(!isempty, split(clean_str))
end

2. 两种对比方式 #

• 忽略重复次数的对比：直接转成集合比较，只看词汇是否完全重合

str1 = "I think this is good"
str2 = "This is good, I think"

words1 = preprocess(str1)
words2 = preprocess(str2)

# 结果为true
is_same_vocab = Set(words1) == Set(words2)

• 包含重复次数的对比：如果需要考虑单词出现的次数（比如句子有重复词的情况），排序后再对比

# 结果为true
is_same_with_count = sort(words1) == sort(words2)

进阶场景：基于语义嵌入的匹配 #

如果遇到更复杂的情况（比如存在同义词、句式变换更灵活），基础方法就不够用了，可以用预训练语言模型生成语义向量，通过向量相似度判断语义是否一致：

using Transformers, Transformers.TextEncoders

# 加载预训练BERT模型和编码器
encoder = load_encoder("bert-base-uncased")
model = load_model("bert-base-uncased"; head=:cls)

# 获取句子的语义嵌入向量
function get_sent_emb(s::AbstractString)
    tokens = encode(encoder, s).input_ids
    # 取[CLS] token的输出作为句子语义代表
    emb = model(tokens).logits[:, 1, :]
    return emb ./ norm(emb)  # 归一化向量
end

# 计算余弦相似度判断语义相近程度
cos_sim(a, b) = dot(a, b) / (norm(a) * norm(b))

emb1 = get_sent_emb(str1)
emb2 = get_sent_emb(str2)
# 结果接近1，说明语义高度相似
similarity_score = cos_sim(emb1, emb2)

总结 #

• 简单语序调换场景：用预处理+集合/排序对比，轻量高效
• 复杂语义匹配场景：用预训练语言模型的语义嵌入，准确率更高

内容的提问来源于stack exchange，提问作者onoke