Elasticsearch Java 8.10客户端JsonParsingException异常求助

定位问题文档 #

随机异常说明集群里存在少量带未转义控制字符（ASCII 10即换行符LF）的脏文档，先找到这些文档才能针对性处理：

• 捕获异常时记录当前search_after值，重新查询该位置附近的文档，定位具体脏字段
• 用regexp查询直接检索含控制字符的文档：

  {
    "query": {
      "regexp": {
        "target_field": "[\\x00-\\x1F\\x7F]"
      }
    }
  }
  

  替换target_field为你拉取的字段，或用_all（若启用）搜索全字段

客户端侧临时修复（拉取时清理） #

如果暂时无法修复集群数据，可在客户端解析前清理JSON中的控制字符：

自定义JsonProvider拦截处理 #

Elastic客户端基于Jakarta JSON API，自定义JsonProvider统一清理输入：

import jakarta.json.Json;
import jakarta.json.JsonReader;
import jakarta.json.stream.JsonParser;
import java.io.StringReader;

public class CleanJsonProvider extends jakarta.json.spi.JsonProvider {
    private final jakarta.json.spi.JsonProvider delegate = Json.provider();

    @Override
    public JsonReader createReader(StringReader reader) {
        String cleaned = reader.toString().replaceAll("[\\x00-\\x1F\\x7F]", "");
        return delegate.createReader(new StringReader(cleaned));
    }

    @Override
    public JsonParser createParser(StringReader reader) {
        String cleaned = reader.toString().replaceAll("[\\x00-\\x1F\\x7F]", "");
        return delegate.createParser(new StringReader(cleaned));
    }
    // 按需重写其他createReader/createParser方法
}

创建客户端时指定该Provider：

import co.elastic.clients.elasticsearch.ElasticsearchClient;
import co.elastic.clients.json.jackson.JacksonJsonpMapper;
import jakarta.json.spi.JsonProvider;

JsonProvider customProvider = new CleanJsonProvider();
ElasticsearchClient client = new ElasticsearchClient(restClient, new JacksonJsonpMapper(customProvider));

手动用Jackson解析清理 #

绕过客户端自动映射，先转字符串清理再解析：

import com.fasterxml.jackson.databind.ObjectMapper;

// 先获取原始响应字符串
String rawResp = client.search(searchRequest, String.class).body();
// 清理控制字符
String cleanedResp = rawResp.replaceAll("[\\x00-\\x1F\\x7F]", "");
// 转成目标对象
YourResultPOJO result = new ObjectMapper().readValue(cleanedResp, YourResultPOJO.class);

根治方案（修复集群脏数据） #

临时修复只是权宜之计，彻底解决需要清理集群中的脏文档：

批量更新脏文档 #

用_update_by_query结合脚本批量清理指定字段：

POST /your_index/_update_by_query
{
  "script": {
    "source": """
      for (field in params.fields) {
        if (ctx._source[field] != null && ctx._source[field] instanceof String) {
          ctx._source[field] = ctx._source[field].replaceAll("[\\x00-\\x1F\\x7F]", "");
        }
      }
    """,
    "params": {
      "fields": ["field1", "field2"] // 替换为实际需要清理的字段
    }
  },
  "query": {
    "regexp": {
      "_all": "[\\x00-\\x1F\\x7F]"
    }
  }
}

从写入端拦截 #

修改上游写入逻辑，在数据进入Elastic前清理控制字符：

• Logstash侧用mutate过滤器：

  filter {
    mutate {
      gsub => [
        "message", "[\x00-\x1F\x7F]", "",
        "target_field", "[\x00-\x1F\x7F]", ""
      ]
    }
  }
  

• Java写入端对字符串字段统一做清理后再写入

关于search_size调整的说明 #

调小search_size后异常消失只是降低了单次拉取碰到脏文档的概率，脏文档依然存在，无法根治问题，建议优先从定位脏文档并修复的方向入手。

内容的提问来源于stack exchange，提问作者Georgi Nikolov