Azure Search中html_strip字符过滤器无法清除JSON元数据内HTML

问题概述 #

使用Azure Search对SharePoint内容建索引时，即使给存储JSON的字段（如edSubProcess）配置了带html_strip字符过滤器的自定义分析器，JSON中的HTML标签仍未被清除。尝试添加正则替换字符过滤器移除换行符也无效。

疑问解答与解决建议 #

1. html_strip是否适合清除JSON字符串中的HTML？ #

html_strip的设计目标是处理直接的HTML内容，它会识别并剥离<xxx>格式的HTML标签。但你的场景中，HTML标签被包裹在JSON字符串的属性值里（比如"Label": "<b>004.01. Traffic</b>"这类结构），此时html_strip无法正常工作——因为分析器处理的是整个字段的字符串内容，JSON的转义字符和结构会干扰过滤器对HTML标签的识别，导致它无法正确匹配到被JSON封装的HTML元素。

2. 将html_strip应用于JSON字符串字段的限制 #

• 无法穿透JSON结构：html_strip是字符级过滤器，只会逐字符扫描整个字段内容，不会解析JSON结构，因此无法识别JSON属性值内部的HTML标签。
• 转义字符干扰：JSON中的引号、转义符（如\"）会破坏HTML标签的完整结构，导致过滤器无法匹配标准的HTML标签格式。
• 仅处理搜索分析阶段：html_strip只影响字段的搜索分词逻辑，不会修改字段的原始存储内容——你看到的索引结果里保留原始HTML，是因为字段的retrievable属性为true时，返回的是原始未处理的内容，而非分析后的分词文本。

3. 替代解决方案 #

方案一：使用索引器的字段映射与自定义技能（推荐）

通过Azure Search的自定义技能在索引前解析JSON并清理HTML：

1. 创建一个自定义Web API技能，接收JSON字符串，解析出内部的属性值，然后用HTML清理库（如C#的HtmlAgilityPack）剥离HTML标签，返回处理后的干净文本。
2. 在索引器配置中，添加字段映射，将原始edSubProcess字段传入自定义技能，将处理后的输出映射到新的索引字段（如edSubProcess_cleaned）。

示例索引器技能配置片段：

"skills": [
  {
    "@odata.type": "#Microsoft.Skills.Custom.WebApiSkill",
    "name": "html-cleanup-skill",
    "description": "Parse JSON and strip HTML from property values",
    "uri": "https://your-custom-api-url.com/clean-html",
    "context": "/document/edSubProcess",
    "inputs": [
      {
        "name": "jsonString",
        "source": "/document/edSubProcess"
      }
    ],
    "outputs": [
      {
        "name": "cleanedText",
        "targetName": "edSubProcess_cleaned"
      }
    ]
  }
]

方案二：使用PatternReplaceCharFilter匹配JSON内的HTML标签

如果不想开发自定义技能，可以尝试编写更精准的正则表达式，匹配JSON属性值中的HTML标签：

"charFilters": [
  {
    "name": "json_html_stripper",
    "@odata.type": "#Microsoft.Azure.Search.PatternReplaceCharFilter",
    "pattern": "\"([^\"]*?)<[^>]+>([^\"]*?)\"",
    "replacement": "\"$1$2\""
  }
]

注意：这种正则方式仅适用于简单的HTML标签场景，复杂嵌套标签或特殊字符可能无法完全处理，且可能误匹配JSON结构中的其他内容，需谨慎测试。

方案三：在数据源端预处理

如果有权限修改SharePoint数据的输出逻辑，在数据进入Azure Search之前，先解析JSON并清理HTML标签，直接传入干净的文本字段。

关键注意点 #

• 区分分析阶段处理和原始存储内容：html_strip和字符过滤器仅影响搜索分词，不会修改字段的原始存储值。如果需要返回干净的文本，必须将处理后的结果存储到单独的字段中。
• 自定义技能是处理结构化JSON中嵌套内容的最可靠方式，能应对复杂的HTML清理需求。

内容的提问来源于stack exchange，提问作者jlopez