如何高效向Elasticsearch索引日志？Java High Level Rest Client实现方案咨询

原有方案问题 #

按类名拆分索引会导致集群索引数量爆炸，Elasticsearch的元数据统一存储在master节点，大量小索引会占用过多master节点资源，拖慢元数据同步效率，严重时会影响集群稳定性，且小索引的分片利用率极低，会造成存储和计算资源浪费。

推荐索引规划方案 #

• 以「时间粒度+应用标识」作为核心拆分维度，索引命名格式建议为{业务前缀}-{应用名称}-{时间后缀}，比如app-log-tomcat-20240520。时间粒度可根据单日日志量调整：日均日志量小于50G按日拆分，大于50G按小时拆分即可。类名、日志级别等信息直接作为文档字段存储，不需要作为索引拆分维度。
• 提前配置索引模版统一管理字段映射，将类名、日志级别、线程名等过滤字段设为keyword类型，日志时间设为date类型，日志内容设为text+keyword多字段类型，避免动态映射生成不合理的字段类型，提升查询和聚合效率。
• 搭配索引生命周期管理（ILM）自动维护索引生命周期，可配置7天内的热索引存SSD，超过7天的冷索引转低成本存储，超过30天的索引自动删除，无需人工干预索引的创建和销毁。

落地优化建议 #

• 控制单分片大小在20G-50G区间，单索引分片数不要超过集群数据节点数的一半，避免分片过多浪费资源。
• 批量写入日志时用BulkRequest批量提交，不要单条写入，可大幅提升索引写入效率。

Java High Level Rest Client 示例代码 #

// 1. 构造日志文档对象
Map<String, Object> logDoc = new HashMap<>();
logDoc.put("log_time", "2021-07-02T10:03:10.040Z");
logDoc.put("level", "INFO");
logDoc.put("thread_name", "main");
logDoc.put("class_name", "org.apache.catalina.startup.VersionLoggerListener.log");
logDoc.put("message", "Server built: Jun 11 2021 13:32:01 UTC");

// 2. 按日拼接索引名称
String indexName = "app-log-tomcat-" + DateTimeFormatter.ofPattern("yyyyMMdd").format(LocalDate.of(2021,7,2));

// 3. 构造索引请求执行写入
IndexRequest indexRequest = new IndexRequest(indexName);
indexRequest.source(logDoc, XContentType.JSON);
client.index(indexRequest, RequestOptions.DEFAULT);

内容的提问来源于stack exchange，提问作者Ajay Venkatesh