如何使用WSO2 Dataservice读取数据库百万级数据？解决连接关闭异常

当用WSO2 DataService执行SELECT * FROM users;拉取超110万行数据时，出现Trying to submit a response to an already closed connection : http-incoming-4异常，本质是一次性加载海量数据导致连接超时、资源耗尽，以下是可行的解决思路：

1. 分批次分页查询 #

避免一次性拉取全量数据，通过分页逐步获取结果，既降低内存占用，也能避免连接超时：

• 用LIMIT+OFFSET实现基础分页（注意大OFFSET可能影响性能，建议用主键范围分页优化）：

  -- 第1页，每页10000行
  SELECT * FROM users LIMIT 10000 OFFSET 0;
  -- 第2页
  SELECT * FROM users LIMIT 10000 OFFSET 10000;
  

• 基于主键范围的高效分页（假设id是自增主键）：

  -- 首次查询
  SELECT * FROM users WHERE id > 0 ORDER BY id LIMIT 10000;
  -- 后续查询，以上次结果的最大id作为条件
  SELECT * FROM users WHERE id > [上次最大id] ORDER BY id LIMIT 10000;
  

循环执行直到返回行数为0，即可获取全量数据。

2. 调整连接与超时配置 #

修改WSO2相关配置，延长连接存活时间，适配大数据量查询：

• 调整Axis2 HTTP超时参数：找到<WSO2_HOME>/repository/conf/axis2/axis2.xml，修改以下参数值（根据实际情况调大，比如设置为5分钟）：

  <parameter name="http.socket.timeout">300000</parameter>
  <parameter name="http.connection.timeout">300000</parameter>
  

• 优化DataService数据源配置：在你的dataservice配置文件中，给数据源添加fetchSize参数，控制每次从数据库拉取的行数，减少内存压力：

  <config id="MyDB">
    <property name="driverClassName">com.mysql.cj.jdbc.Driver</property>
    <property name="url">jdbc:mysql://localhost:3306/mydb</property>
    <property name="username">root</property>
    <property name="password">root</property>
    <property name="fetchSize">1000</property>
  </config>
  

3. 启用结果集流式处理 #

WSO2 DataService支持流式返回结果，不会一次性将全量数据加载到内存，而是边查询边输出：

• 在dataservice的查询配置中开启streaming：

  <query id="getUsersQuery" useConfig="MyDB">
    <sql>SELECT * FROM users</sql>
    <result element="users" rowName="user" streaming="true">
      <element column="id" name="id" xsdType="integer"/>
      <element column="name" name="name" xsdType="string"/>
      <!-- 映射其他字段 -->
    </result>
  </query>
  

• 确保客户端支持流式接收数据，避免客户端侧提前关闭连接。

注意事项 #

• 优先选择分页查询或流式处理，调整超时仅作为临时适配方案，大数据量下流式/分页的稳定性和性能更优；
• 若使用分页，需注意数据库的分页性能问题，主键范围分页比OFFSET分页更适合超大数据量场景。

内容的提问来源于stack exchange，提问作者user17243183