ESDB v20.10.2.0读取性能较SQL慢3倍，求最优配置及优化方案

一、现有部署的问题定位 #

• 数据和日志存储在同一目录是首要性能瓶颈：ESDB的预写日志（WAL）写入和读请求的随机IO会抢占磁盘带宽，机械盘场景下性能衰减幅度可达3倍以上。
• 启动参数存在冗余开销：当前启用的--enable-atom-pub-over-http是兼容旧版HTTP API的冗余功能，--log-http-requests会产生大量日志写入开销，二者都会占用核心读写资源。
• Java客户端读取逻辑存在优化空间：当前是单次全量拉取流的所有事件，未配置合理的批量拉取策略，反序列化逻辑也存在资源浪费。

二、服务端最优配置调整 #

存储层调整 #

• 将数据目录和日志目录拆分到不同的物理磁盘，WAL日志优先分配高IOPS的SSD/NVMe盘，彻底避免读写IO互相抢占。
• K8s环境下给ESDB存储卷配置ReadWriteOncePod访问模式，关闭不必要的存储卷快照、实时同步策略，降低存储层额外开销。
• 给ESDB Pod分配足够内存，优先让热数据存放在系统页缓存中，避免冷读触发磁盘IO。

启动参数优化 #

调整后的启动命令参考：

.\EventStore.ClusterNode.exe --db /path/to/db --log /path/to/logs --insecure --run-projections All --enable-histograms --reader-threads-count 16 --worker-threads 20

调整点说明：

• 移除--enable-atom-pub-over-http和--log-http-requests参数，减少不必要的HTTP处理和日志写入开销。
• 线程数根据CPU核心数调整：reader线程数建议设为CPU核心数的1.5_{2倍，worker线程数建议设为CPU核心数的2}3倍，8核CPU对应调整为16、20即可。
• 若无自定义投影需求，将--run-projections All改为--run-projections System，减少后台投影任务的资源占用。

三、Java客户端代码优化 #

优化后的代码参考：

// 配置批量拉取参数，单次拉取最大事件数根据单事件大小调整到1000~2000，默认值为4096
ReadStreamOptions readStreamOptions = ReadStreamOptions.get()
    .fromStart()
    .notResolveLinkTos()
    .maxCount(1000);
// 反序列化器单例复用，避免每次请求重复初始化
DomainEventDeserializer deSerializer = new DomainEventDeserializer();
try {
  // 流式分段拉取，降低单次请求的内存开销和GC压力
  List<ResolvedEvent> resolvedEvents = new ArrayList<>();
  ReadStreamResult result = client.readStream(addPrefix(aggregateId), readStreamOptions).get();
  while (result.hasNext()) {
    resolvedEvents.addAll(result.next().getEvents());
  }

   return resolvedEvents
      .parallelStream() // 并行反序列化，利用多核CPU提升CPU密集型任务效率
      .map(
          resolvedEvent -> {
            byte[] eventData = resolvedEvent.getOriginalEvent().getEventData();
            return deSerializer.deserialize(null, eventData);
          })
      .filter(Objects::nonNull)
      .collect(Collectors.toCollection(LinkedHashSet::new));

额外优化点：如果读取的是不可变的历史流，可以在客户端增加本地缓存，避免重复读取相同的流数据。

四、性能排查辅助手段 #

• 用ESDB自带的直方图功能查看读请求耗时分布，确认瓶颈是服务端IO、网络传输还是客户端处理环节。
• 检查K8s集群的网络延迟，ESDB客户端和服务端尽量部署在同一可用区，避免跨可用区网络开销。

内容的提问来源于stack exchange，提问作者Kishore Jagadeesan