MySQL何时生成新的binlog文件？Java binlog读取应用需断点续传

一、MySQL生成新Binlog文件的触发场景 #

MySQL会在以下几种情况下生成新的binlog文件：

• 达到文件大小上限：当当前binlog文件大小达到max_binlog_size配置值（默认1GB）时自动切换。注意：如果单个事务大小超过该值，不会拆分事务，会继续写入当前文件直到事务完成，之后再生成新文件。
• 手动执行切换命令：执行FLUSH LOGS;会强制生成新的binlog文件。
• 服务重启：MySQL启动或重启时，会创建新的binlog文件。
• 主从角色变更：主库切换为从库、从库提升为主库时，会生成新的binlog文件。
• binlog过滤规则变更：修改binlog_do_db/binlog_ignore_db等过滤配置并生效后，会触发新binlog文件生成。

二、结合mysql-binlog-connector-java实现Checkpoint避免事件丢失 #

核心思路是：事件处理成功后，持久化当前的binlog文件名和位置，应用重启时从该位置继续读取，确保不遗漏事件。

1. 记录当前读取位置 #

在事件处理完成后，通过BinaryLogClient的API获取当前binlog信息并持久化，避免处理失败但位置已更新的情况：

BinaryLogClient client = new BinaryLogClient("你的数据库地址", 3306, "用户名", "密码");

client.registerEventListener(event -> {
    // 执行事件处理逻辑
    handleDatabaseEvent(event);
    
    // 处理成功后，持久化当前位置
    persistCheckpoint(client.getBinlogFilename(), client.getBinlogPosition());
});

2. 持久化Checkpoint的方式 #

• 可选本地文件（如JSON格式）、轻量数据库（如SQLite）存储；
• 持久化操作要保证原子性，比如写临时文件后再替换原文件，避免半写入状态导致的位置无效。

3. 重启时恢复读取位置 #

应用启动时优先加载已持久化的Checkpoint，设置BinaryLogClient的初始读取位置：

Checkpoint savedCheckpoint = loadSavedCheckpoint();
if (savedCheckpoint != null) {
    client.setBinlogFilename(savedCheckpoint.getFilename());
    client.setBinlogPosition(savedCheckpoint.getPosition());
} else {
    // 首次启动，从指定初始位置或最新位置开始
    client.setBinlogFilename("mysql-bin.000001");
    client.setBinlogPosition(4); // binlog文件头默认长度为4
}

4. 处理Binlog滚动事件 #

当MySQL切换新binlog文件时，会触发ROTATE_EVENT，可在监听器中捕获并更新Checkpoint：

client.registerEventListener(event -> {
    EventHeader header = event.getHeader();
    if (header.getEventType() == EventType.ROTATE) {
        RotateEventData rotateData = event.getData();
        // 持久化新的binlog文件信息
        persistCheckpoint(rotateData.getBinlogFilename(), rotateData.getPosition());
    } else {
        // 处理业务事件
        handleDatabaseEvent(event);
        // 定期或批量持久化位置
        persistCheckpoint(client.getBinlogFilename(), client.getBinlogPosition());
    }
});

5. 性能与可靠性平衡 #

• 避免每处理一个事件就持久化一次，可设置批量阈值（如每处理100个事件）或时间间隔（如每10秒）来持久化，平衡性能与数据安全性；
• 若MySQL启用GTID，建议同时持久化GTID集合，恢复时使用client.setGtidSet(gtidSet)，避免因binlog文件丢失导致的位置失效。

内容的提问来源于stack exchange，提问作者Thành Đặng