Logstash中jdbc_fetch_size与jdbc_page_size的区别及交互关系

1. 核心区别 #

jdbc_fetch_size #

• 属于JDBC驱动级参数，控制驱动从MySQL服务器一次性拉取到客户端内存的行数。
• 比如设置为1000时，驱动会每次从数据库拿1000条数据到本地，再交给Logstash逐条处理。MySQL的Connector/J驱动在该值大于0时，会启用服务器端游标，避免一次性把全量数据加载到内存。

jdbc_page_size #

• 是Logstash插件级参数，通过SQL分页的方式拆分大结果集。
• 插件会自动给你的SQL语句拼接对应的分页语法（比如MySQL的LIMIT offset, page_size），把原查询拆成多个小批次执行。每次只查询一页的数据，处理完成后再获取下一页，从根源上避免一次性拉取大量数据。

2. 交互关系 #

两者是同向互补的作用，不存在反向冲突，同时配置可进一步优化内存占用：

• 同时设置两个参数时：插件先按jdbc_page_size分页查询，每次返回一页数据；驱动再按jdbc_fetch_size将这一页的数据拆分成更小的批次拉取到本地。比如jdbc_page_size=10000、jdbc_fetch_size=1000，插件每次查询10000条数据，驱动会分10次每次拉取1000条，内存压力会更平稳。
• 仅设置jdbc_fetch_size时，若遇到超大规模结果集，即便驱动启用了游标，若Logstash的filter或output环节出现阻塞，仍可能在内存中累积较多数据；而jdbc_page_size从查询层面拆分结果，对超大量数据的导入场景更稳妥，能彻底控制单次处理的数据量。

内容的提问来源于stack exchange，提问作者Winux