OpenSearch Discover导出CSV仅获部分结果，如何导出全部查询数据？

• 环境：OpenSearch 1.1.0 / Dashboard 1.1.0 / Docker (Amazon Linux release 2)
• 查询语句：timestamp >= 1682504039854 and tags: level=ERROR（timestamp为数值类型）
• 现象：Discover页面正常显示2000条符合条件的数据，但通过报表功能导出CSV时，仅导出timestamp = 1682504039854的3条数据，无法导出全部结果。

1. 调整Discover分页设置，确保加载全部数据 #

OpenSearch Dashboard默认分页展示数据，若当前页面只加载了部分数据，导出时只会包含已加载的内容：

• 在Discover页面底部，将每页显示条数调整为2000（或大于查询结果总数）；
• 等待页面加载完成所有数据后，再执行报表导出操作。

注意：若数据量过大，调整每页条数可能导致页面加载缓慢，需根据服务器性能合理设置。

2. 使用DSL查询替代可视化查询框输入 #

报表导出功能可能对可视化查询的范围条件解析存在异常，改用DSL查询可避免此问题：

1. 在Discover页面点击右上角的Inspect按钮，选择Request标签；
2. 复制页面中展示的DSL查询语句（示例如下，需匹配实际字段映射）：

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "timestamp": {
              "gte": 1682504039854
            }
          }
        },
        {
          "term": {
            "tags.level": "ERROR"
          }
        }
      ]
    }
  }
}

3. 在报表导出功能中选择使用DSL作为查询条件，粘贴上述语句后执行导出。

3. 调用OpenSearch API批量导出数据 #

若Dashboard报表功能存在bug，可直接通过API获取全部数据后自行转换为CSV：

步骤1：发起初始scroll请求 #

curl -X POST "http://<你的OpenSearch地址>:9200/<目标索引名>/_search?scroll=1m" -H "Content-Type: application/json" -d '{
  "size": 1000,
  "query": {
    "bool": {
      "must": [
        {"range": {"timestamp": {"gte": 1682504039854}}},
        {"term": {"tags.level": "ERROR"}}
      ]
    }
  }
}'

该请求会返回第一页数据和一个scroll_id。

步骤2：循环获取剩余数据 #

使用返回的scroll_id重复请求，直到返回的hits.hits为空：

curl -X POST "http://<你的OpenSearch地址>:9200/_search/scroll" -H "Content-Type: application/json" -d '{
  "scroll": "1m",
  "scroll_id": "<上一步获取的scroll_id>"
}'

步骤3：转换为CSV #

将所有返回结果提取_source字段内容，用工具（如Python的pandas库）转换为CSV格式：

import pandas as pd
import json

# 假设所有获取到的数据存在data_list列表中
data_list = [hit["_source"] for hit in all_hits]
df = pd.DataFrame(data_list)
df.to_csv("exported_data.csv", index=False, encoding="utf-8")

4. 检查报表插件兼容性 #

OpenSearch 1.1.0对应的报表插件可能存在范围查询导出的bug，确认插件版本与Dashboard 1.1.0完全兼容。若有可用补丁或更新版本，在Docker环境中重新构建镜像或安装对应版本的插件后重试导出。

内容的提问来源于stack exchange，提问作者julymon