如何将JSON文件成功导入Elasticsearch？

前置检查 #

• 确认Elasticsearch服务正常运行，记录服务访问地址（默认本地地址为http://localhost:9200），如有身份认证提前准备账号密码
• 校验本地JSON文件语法合法性，可执行命令jq . 你的JSON文件路径验证，无报错即为格式合法

场景1：导入普通JSON数组文件 #

普通JSON数组指文件内容为[{"字段1":"值1"},{"字段2":"值2"},...]格式的文件，需要先转换为Elasticsearch Bulk API兼容格式再导入：

1. 执行jq命令生成符合要求的批量导入文件：

# 不指定索引和文档ID，后续请求时指定索引
jq -c '.[] | {"index": {}}, .' 源JSON文件路径 > es_bulk_ready.json
# 可自定义写入的索引和文档ID，示例中取JSON内的id字段作为文档ID
jq -c '.[] | {"index": {"_index": "自定义索引名", "_id": .id}}, .' 源JSON文件路径 > es_bulk_ready.json

2. 调用Bulk API执行导入：

# 无身份认证场景
curl -X POST "http://localhost:9200/自定义索引名/_bulk?pretty" -H "Content-Type: application/json" --data-binary @es_bulk_ready.json
# 有基础身份认证场景
curl -X POST "http://localhost:9200/自定义索引名/_bulk?pretty" -u 账号:密码 -H "Content-Type: application/json" --data-binary @es_bulk_ready.json

场景2：导入已符合Bulk格式的JSON文件 #

如果你的JSON文件已经是Bulk专用格式（每两条为一组，第一条为操作元数据、第二条为文档内容），直接执行上述curl命令即可，注意必须保留--data-binary参数，避免换行符被自动删除导致格式错误。 #

常见问题排查 #

• 导入返回400错误：检查JSON格式是否合法，Bulk文件末尾是否有空行，请求头是否正确设置Content-Type: application/json
• 导入返回401/403错误：检查账号密码是否正确，对应账号是否有目标索引的写入权限
• 大数据量导入超时：将大文件拆分为多个小文件，每个文件包含1000-5000条文档，分批导入即可

内容的提问来源于stack exchange，提问作者pigroupco