如何导出ES 2.4集群指定字段数据并验证ES 8.x集群数据完整性？

ES 2.4默认把单次查询的最大返回条数限制在10k（由index.max_result_window控制，不建议直接修改该参数，容易引发内存过载），批量拉取大量数据最稳妥的方式是Scroll API，它专门为大数据量导出设计，通过保留快照上下文分批获取数据。

具体操作步骤： #

1. 发起初始Scroll请求，获取第一批数据和scroll_id：

curl -XGET 'http://你的ES2.4地址:9200/目标索引/_search?scroll=5m' -H 'Content-Type: application/json' -d '{
  "fields": ["code","version","locales"],
  "_source": false,  # 只返回指定字段，减少冗余
  "size": 1000  # 每次拉取1000条，可根据集群性能调整
}'

返回结果中会包含_scroll_id和第一批数据，后续用该ID继续拉取剩余数据。

2. 循环调用Scroll接口，直到返回的hits.hits为空：

curl -XGET 'http://你的ES2.4地址:9200/_search/scroll' -H 'Content-Type: application/json' -d '{
  "scroll": "5m",
  "scroll_id": "上一步返回的scroll_id"
}'

3. 格式转换：
   • 导出JSON：将所有批次的hits.hits内容合并即可。
   • 导出CSV：用jq工具提取字段并格式化（需提前安装jq）：

   # 假设所有JSON结果已保存到output.json
   jq -r '.hits.hits[] | [._fields.code[0], ._fields.version[0], ._fields.locales[0]] | @csv' output.json > result.csv
   

备选方案：用Logstash导出 #

不想写脚本的话，可通过Logstash拉取并导出，配置示例：

input {
  elasticsearch {
    hosts => ["你的ES2.4地址:9200"]
    index => "目标索引"
    scroll => "5m"
    size => 1000
    fields => ["code", "version", "locales"]
    docinfo => false
  }
}
output {
  csv {
    path => "/本地路径/output.csv"
    fields => ["code", "version", "locales"]
  }
}

从总量校验、核心维度校验、抽样校验三个层面入手，结合你提供的查询逻辑：

1. 基础总量校验 #

直接对比两个集群的总文档数：

• ES2.4查询：

curl -XGET 'http://你的ES2.4地址:9200/目标索引/_count'

• ES8.x查询：

curl -XGET 'http://你的ES8.x地址:9200/新索引/_count'

数值完全一致是最基础的完整性验证。

2. 核心维度校验（复用你的cardinality聚合） #

你的原查询用code+version组合做唯一值统计，直接用这个维度对比两个集群的结果：

ES2.4版本查询： #

{
  "size": 0,  # 无需返回具体文档，只看聚合结果
  "aggs": {
    "code_version_count": {
      "cardinality": {
        "script": "doc['code'].value + ' ' + doc['version'].value"
      }
    }
  }
}

ES8.x版本查询（脚本语法优化）： #

{
  "size": 0,
  "aggs": {
    "code_version_count": {
      "cardinality": {
        "script": "doc.code.value + ' ' + doc.version.value"
      }
    }
  }
}

若两个集群返回的code_version_count.value完全一致，说明核心维度的唯一数据无缺失。

3. 抽样校验 #

随机抽取部分文档，对比字段内容是否一致：

{
  "size": 100,
  "fields": ["code","version","locales"],
  "sort": [{"_score": {"order": "desc"}}],
  "query": {
    "function_score": {
      "functions": [{"random_score": {}}]
    }
  }
}

分别在两个集群执行，对比返回的字段内容是否完全匹配。

内容的提问来源于stack exchange，提问作者VV1012