如何用Reindex、Ingest Pipeline和Processor构建Elasticsearch 1:n倒排索引

你说得对，默认的Elasticsearch Ingest Pipeline确实是1:1的文档映射关系——单个源文档经过处理后只会输出一个目标文档，这就是你之前的方案只得到第一个问题的核心原因。foreach处理器只是在同一个文档内遍历数组元素、覆盖字段值，并不会拆分出多个独立文档。

要实现从单个源文档生成多个目标文档，你需要使用**split处理器**——它可以把源文档中的数组字段拆分成多个独立文档，每个数组元素对应一个新文档。下面是完整的解决方案：

1. 创建正确的Ingest Pipeline #

这个Pipeline会完成你需要的所有转换操作：

• 将源文档的id重命名为document_id
• 把questions数组拆分成多个独立文档
• 从拆分后的每个问题元素中提取question和choices到根字段
• 生成随机唯一的question_id
• 清理不需要的冗余字段

{
  "pipeline": {
    "description": "Invert documents index into questions index (one question per document)",
    "processors": [
      // 1. 将原文档id重命名为document_id
      {
        "rename": {
          "field": "id",
          "target_field": "document_id",
          "ignore_missing": false
        }
      },
      // 2. 拆分questions数组，每个元素生成一个新文档
      {
        "split": {
          "field": "questions",
          "target_field": "temp_question",
          "tag": "split_questions"
        }
      },
      // 3. 从临时字段提取question内容到根字段
      {
        "set": {
          "field": "question",
          "value": "{{temp_question.question}}"
        }
      },
      // 4. 提取choices到根字段
      {
        "set": {
          "field": "choices",
          "value": "{{temp_question.choices}}"
        }
      },
      // 5. 生成随机唯一的question_id
      {
        "uuid": {
          "field": "question_id"
        }
      },
      // 6. 清理不需要的字段（可根据需求调整）
      {
        "remove": {
          "field": ["questions", "temp_question", "title"]
        }
      }
    ]
  }
}

2. 执行Reindex操作 #

创建好Pipeline后，执行以下Reindex命令，指定使用这个Pipeline完成转换：

POST _reindex
{
  "source": {
    "index": "documents"
  },
  "dest": {
    "index": "questions",
    "pipeline": "your-pipeline-name" // 替换成你创建的Pipeline名称
  }
}

3. 验证结果 #

执行完成后，查询questions索引，你会得到完全符合预期的结构：每个问题对应一个独立文档，包含question_id、document_id、question和choices字段。

关键说明 #

• split处理器是实现一对多文档转换的核心，它会遍历指定数组的每个元素，为每个元素生成一个全新的文档。
• uuid处理器自动生成随机唯一的question_id，完美匹配你的需求。
• 清理步骤可以根据实际需求调整，比如如果需要保留原文档的title字段，只需从remove的字段列表中去掉它即可。

内容的提问来源于stack exchange，提问作者Cosimo