Azure Cognitive Search向量搜索中问号影响、处理方案及大小写咨询

1. 问号在向量搜索（Azure Cognitive Search）中的影响 #

Azure OpenAI Ada02模型生成嵌入向量时，会将标点符号作为语义信息的一部分编码。问号代表疑问语气，会让模型对语句的语义理解产生细微差异，进而生成与不带问号的语句不同的嵌入向量。而Azure Cognitive Vector Search基于向量间的余弦相似度匹配，向量的细微差异会导致最终匹配到的文档排序和结果集合出现不同。

2. 处理该问题的标准方式 #

• 查询预处理：在生成查询嵌入前，统一清洗文本，去除问号等非核心语义的标点符号，比如用正则表达式[^\w\s]过滤所有非字母、数字和空格的字符，确保同一语义的查询生成一致的向量。
• 利用Azure Cognitive Search技能集：添加文本清洗技能，在索引阶段和查询阶段对文本进行标准化处理，统一去除标点、统一大小写等。
• 结合语义搜索：将向量搜索与Azure Cognitive Search的语义搜索结合，语义搜索基于深层语义理解匹配结果，减少标点这类细微差异对最终结果的影响。

3. Azure Cognitive Vector Search是否区分大小写？ #

Azure Cognitive Vector Search本身不区分大小写。因为用于生成嵌入的Ada02模型在编码时会自动对文本进行大小写归一化处理，不同大小写的同一语句会生成高度相似的向量。在向量匹配阶段，基于余弦相似度的计算也不会因为大小写差异产生结果区分，最终返回的搜索结果不受大小写影响。

内容的提问来源于stack exchange，提问作者nen