Azure Cognitive Search定时运行索引器后出现文档重复问题求助

以下是针对你遇到的索引重复问题的排查和解决步骤：

1. 确认索引键字段的唯一性映射 #

Azure Cognitive Search依赖索引键字段识别唯一文档，必须确保该字段与Cosmos DB中的唯一标识正确关联：

• 检查索引定义：若Cosmos DB使用分区键，仅用id无法保证全局唯一（同一id可存在于不同分区），需将索引键设置为组合键（如id+分区键），通过索引器的字段映射拼接生成唯一键。
• 示例字段映射（拼接id和partitionKey为uniqueId）：

  "fieldMappings": [
    {
      "sourceFieldName": "id",
      "targetFieldName": "id"
    },
    {
      "sourceFieldName": "partitionKey",
      "targetFieldName": "partitionKey"
    },
    {
      "sourceFieldName": "",
      "targetFieldName": "uniqueId",
      "mappingFunction": {
        "@odata.type": "#Microsoft.Azure.Search.MappingFunctions.Concat",
        "parameters": {
          "separator": "-",
          "expressions": ["id", "partitionKey"]
        }
      }
    }
  ]
  

  同时将索引的key字段设置为uniqueId。

2. 验证索引器的变更检测策略 #

索引器默认依赖Cosmos DB的_ts时间戳做增量同步，配置错误会触发全量同步导致重复：

• 检查索引器配置：确保changeDetectionPolicy为HighWaterMark类型，高水位字段为_ts。可通过Azure CLI查看：

  az search indexer show --name <你的索引器名称> --resource-group <资源组名称> --service-name <搜索服务名称>
  

  正确配置应包含：

  "changeDetectionPolicy": {
    "@odata.type": "#Microsoft.Azure.Search.HighWaterMarkChangeDetectionPolicy",
    "highWaterMarkColumnName": "_ts"
  }
  

• 确认Cosmos DB文档的_ts字段会随更新自动刷新（这是Cosmos DB默认行为，无需额外配置）。

3. 检查索引器运行历史 #

通过Azure Portal查看索引器的运行历史记录：

• 查看每次运行的「已处理文档数」和「已添加文档数」，若每次都添加与初始数量接近的文档，说明索引器未执行增量同步，而是重复全量扫描。
• 排查运行日志中的错误信息，确认是否存在权限问题、字段缺失等导致变更检测失效的情况。

4. 重置并重新同步（生产环境需谨慎） #

若已确认键字段和变更检测配置正确，但已有重复数据：

• 重置索引器：清除索引器的高水位标记，使其重新扫描所有Cosmos DB文档，此时会基于唯一键覆盖重复文档，自动完成去重。
• 若索引键配置错误，需先删除现有索引，重新创建正确的索引（确保键字段全局唯一），再重置索引器并触发全量同步。

额外注意事项 #

• 避免频繁手动触发全量索引：非必要情况下不要手动执行全量同步，以免增量同步的文档被重复添加。
• 生产环境操作前备份数据：修改索引或重置索引器前，建议备份现有索引数据，避免意外数据丢失。

内容的提问来源于stack exchange，提问作者redar ismail