GCP Cloud SQL Postgres循环查询触发PSQLException I/O错误EOFException求助

环境信息 #

• 数据库：GCP 上的 Cloud SQL（Postgres 版本）
• 应用：ServiceA（Java 8 开发）

报错上下文 #

报错对应的简化代码片段如下：

for(String id: ids){
   int result = dao.getCountForId(id) // 错误抛出位置
   if(result>0){
     ...
   }
}

发送到 Postgres 的查询语句如下：

SELECT COUNT(*) FROM t WHERE id = ?

错误栈 #

xxxxx.postgres.PostgresRuntimeException: Failed get count for id 7dddfdsfdsewr345234sd.........
xxxx.postgres.PostgresRuntimeException: Failed get result for id ....
Caused by: org.PostgreSQL.util.PSQLException: An I/O error occurred while sending to the backend.
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:339) ~[app.jar:?]
    at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:448) ~[app.jar:?]
    at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:369) ~[app.jar:?]
    at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:153) ~[app.jar:?]
    at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:103) ~[app.jar:?]
    at sun.reflect.GeneratedMethodAccessor14.invoke(Unknown Source) ~[?:?]
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_171]
    at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_171]
    at org.postgresql.ds.PGPooledConnection$StatementHandler.invoke(PGPooledConnection.java:428) ~[app.jar:?]
    at com.sun.proxy.$Proxy40.executeQuery(Unknown Source) ~[?:?]
Caused by: java.io.EOFException
    at org.postgresql.core.PGStream.receiveChar(PGStream.java:372) ~[app.jar:?]
    at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2043) ~[app.jar:?]
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:312) ~[app.jar:?]
    ... 9 more

该错误仅在生产环境ID数量较大时出现，无法在测试或本地环境复现。

已尝试的排查操作 #

最初推测是ID数量大导致查询量过高，撑满Postgres连接池引发问题。为验证该假设编写了集成测试，通过大量查询打满连接池，简化版测试代码如下：

//FILE_PATH contains the input and expected output for the test
  @Test
    @FileParameters(value = FILE_PATH)
    public test(String taskId, int expected){
        int result = dao.getCountForId(id) 
        Assert.assertEquals(expected,result);
    }

打满连接池时触发的错误如下：

org.postgresql.util.PSQLException: FATAL: sorry, too many clients already
    at org.postgresql.core.v3.ConnectionFactoryImpl.doAuthentication(ConnectionFactoryImpl.java:525) ~[postgresql-42.2.14.jar:42.2.14]
    at org.postgresql.core.v3.ConnectionFactoryImpl.tryConnect(ConnectionFactoryImpl.java:146) ~[postgresql-42.2.14.jar:42.2.14]
    at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:197) ~[postgresql-42.2.14.jar:42.2.14]
    ... 10 more

在GCP日志中检索org.PostgreSQL.util.PSQLException: FATAL: sorry, too many clients already错误未找到任何记录，说明生产环境并未出现连接池满的问题。

错误根因定位 #

本次出现的EOFException + 发送到后端时发生IO错误，本质是应用持有的数据库连接在发送请求前就已经被断开，断开的发起方是数据库侧或者中间网络设备，和连接数不足无关。

排查步骤 #

1. 检查Cloud SQL侧配置与日志 #

• 核对报错时间点Cloud SQL的监控指标：CPU、内存、磁盘IO、活跃连接数有没有突增，有没有实例主备切换、自动维护重启的记录，云数据库实例高负载或者切换时会主动断开现有连接。
• 查看Cloud SQL的超时参数配置：重点看idle_in_transaction_session_timeout（事务空闲超时）、statement_timeout（单语句执行超时）、tcp_keepalives_idle（TCP空闲心跳间隔），如果你的连接空闲时间超过阈值，数据库会主动断开连接。
• 确认应用与Cloud SQL的网络链路：如果走公网或者跨VPC访问，GCP的负载均衡、运营商网关会默认掐掉空闲超过300s的TCP连接，这是云环境这类报错的最常见诱因。

2. 检查应用侧连接池配置 #

• 确认是否开启了连接有效性检测：连接池要开testOnBorrow（取连接时检测有效性）或者testWhileIdle（空闲时检测），检测语句用SELECT 1即可，避免从池子里拿到已经失效的连接。
• 核对连接池空闲超时时间：要保证连接池的maxIdleTime配置比数据库侧的空闲超时、网络设备的会话超时至少小30s，让连接在被第三方断开前就被池子主动销毁。
• 检查JDBC连接参数是否配置了socket超时：没有配置socketTimeout的话，连接挂死会被网络设备主动掐断，没有错误上报。

解决方案 #

1. 优先优化查询逻辑：把循环单条ID查询改成批量IN查询，语句改为SELECT id, COUNT(*) FROM t WHERE id IN (?, ...) GROUP BY id，每次批量查几十到几百个ID，直接降低90%以上的请求量，减少连接占用时间，大概率可以直接消除报错。
2. 增加幂等重试：COUNT查询是幂等操作，可以针对IO异常、EOF异常配置2-3次自动重试，偶发的断连场景直接通过重试解决。
3. 优化JDBC连接配置：在连接串中增加tcpKeepAlive=true&socketTimeout=60000参数，主动发送TCP心跳避免网络设备掐断空闲连接，同时设置超时时间避免连接挂死。

内容的提问来源于stack exchange，提问作者Rando Shtishi