EKS Pod内AWS SDK HTTPS调用较ECS慢6倍的排查及优化问询

1. 分析逻辑是否正确？ #

你的分析逻辑是合理且正确的。
你已经通过AWS SDK metrics定位到核心延迟点在API调用全链路，再通过Datadog性能分析将问题缩小到Netty的SslHandler.flush()环节，同时排除了硬件配置差异、流量负载过高的干扰（EKS流量仅为ECS的1/100），整个排查路径从上层SDK到底层网络IO的细分环节，逻辑闭环且针对性强，没有明显漏洞。

2. EKS的出站HTTPS调用是否可能存在性能劣势？ #

是的，EKS的出站HTTPS调用确实存在性能劣势的可能性，核心原因来自网络架构差异和配置细节：

• 网络路径差异：ECS任务若使用awsvpc模式，直接绑定弹性网络接口（ENI），出站流量无需额外转发；而EKS Pod的网络依赖CNI插件，流量需要经过节点的kube-proxy转发（iptables/IPVS），多了一层转发开销。
• TLS会话复用差异：如果EKS环境中未正确配置TLS会话复用，每次HTTPS请求都要重新完成完整TLS握手，会大幅增加SSL处理耗时。
• 网络资源隔离：虽然EKS Pod流量低，但节点上其他Pod可能抢占网络资源（如带宽、CPU），间接影响SSL处理的效率。

3. 如何进一步排查该问题？ #

• 验证TLS会话复用状态
  • 查看AWS SDK metrics中的TlsSessionReused指标，对比ECS与EKS的复用率；
  • 在Pod/任务内执行tcpdump port 443抓包，统计TLS全握手（Full Handshake）和会话恢复（Session Resume）的比例，确认是否EKS的全握手占比过高。
• 对比网络路径差异
  • 分别在EKS Pod和ECS任务中执行traceroute <dynamodb-endpoint>或mtr <dynamodb-endpoint>，查看跳数、每跳延迟的差异；
  • 检查EKS的kube-proxy模式（iptables/IPVS），IPVS的转发性能优于iptables，可优先排查此点；
  • 查看EKS节点的网络监控指标（如网卡吞吐量、TCP连接数），确认是否有其他Pod占用资源。
• 核对Netty与SSL配置
  • 对比ECS与EKS环境中Spring Boot应用的AWS SDK配置，重点查看NettyHttpClient.Builder的事件循环线程数、SSL提供者（JDK/OpenSSL）、连接池参数；
  • 检查JVM的SSL相关参数（如jdk.tls.sessionCacheSize、jdk.tls.sessionTimeout），确保两个环境配置一致。
• 独立测试SSL握手性能
  • 在EKS Pod和ECS任务中执行openssl s_client -connect <dynamodb-endpoint>:443，重复多次并统计平均握手耗时，直接对比SSL环节的性能差异。

4. 如何提升EKS中Netty客户端的HTTPS调用速度？ #

• 强制开启TLS会话复用
  • 配置AWS SDK 2.x的Netty客户端启用会话复用，示例代码：

    SdkHttpClient httpClient = NettyHttpClient.builder()
        .sslProvider(SslProvider.OPENSSL) // 优先使用OpenSSL
        .build();
    DynamoDbAsyncClient client = DynamoDbAsyncClient.builder()
        .httpClient(httpClient)
        .build();
    

  • 添加JVM参数调整会话缓存：-Djdk.tls.sessionCacheSize=10000 -Djdk.tls.sessionTimeout=3600
• 优化EKS网络架构
  • 将kube-proxy从iptables模式切换为IPVS模式，减少转发开销；
  • 确保AWS VPC CNI插件配置合理，为节点分配足够的ENI，避免Pod网络资源受限；
  • 若场景允许，考虑使用EKS Fargate模式，其网络模型与ECS awsvpc一致，无需节点转发。
• 调优Netty客户端参数
  • 调整事件循环线程数，匹配CPU核心数，示例：eventLoopGroup(new NioEventLoopGroup(Runtime.getRuntime().availableProcessors() * 2))；
  • 开启TCP_NODELAY：tcpConfiguration(tcp -> tcp.nodelay(true))；
  • 增大连接池大小，避免频繁新建连接：connectionTimeout(Duration.ofSeconds(10))、maxConcurrency(100)。
• 替换JDK SSL为OpenSSL
  • 引入netty-tcnative-boringssl-static依赖，让Netty使用性能更优的OpenSSL实现，降低SSL握手和数据加密的耗时。
• 优化JVM运行参数
  • 调整GC策略（如使用G1GC），避免GC停顿影响SSL处理；
  • 添加TLS优化参数：-Djdk.tls.ephemeralDHKeySize=2048 -Djdk.tls.rejectClientInitiatedRenegotiation=true

内容的提问来源于stack exchange，提问作者Shankar