如何通过Liquibase分批运行百万级大表更新查询？

方法1：原生SQL循环分批更新 #

利用Liquibase的<sql>标签配合数据库原生循环语法，按主键/唯一键拆分批次执行，避免全表锁和长事务。以MySQL为例：

<changeSet id="batch-update-my_table" author="your-team">
    <sql splitStatements="false">
        SET @batch_size = 1000;
        SET @row_count = 1;
        WHILE @row_count > 0 DO
            UPDATE my_table 
            SET column1 = 'some'
            WHERE id >= (SELECT COALESCE(MAX(id), 0) FROM (SELECT id FROM my_table WHERE column1 != 'some' LIMIT @batch_size) AS batch)
            LIMIT @batch_size;
            SET @row_count = ROW_COUNT();
        END WHILE;
    </sql>
</changeSet>

• 必须添加splitStatements="false"，防止Liquibase拆分多语句执行；
• 不同数据库语法需调整：PostgreSQL要套PL/pgSQL块，Oracle用LOOP结合ROWNUM；
• 批次大小可根据数据库性能调整（建议1000-10000条）。

方法2：多ChangeSet拆分范围更新 #

如果不需要动态循环，可直接拆分多个<update>标签，按主键范围分批：

<changeSet id="update-my_table-part1" author="your-team">
    <update tableName="my_table">
        <column name="column1" value="some"/>
        <whereClause>id BETWEEN 1 AND 100000</whereClause>
    </update>
</changeSet>
<changeSet id="update-my_table-part2" author="your-team">
    <update tableName="my_table">
        <column name="column1" value="some"/>
        <whereClause>id BETWEEN 100001 AND 200000</whereClause>
    </update>
</changeSet>

• 优点：写法简单，Liquibase自动处理事务；
• 缺点：需提前知晓主键范围，适合数据分布均匀的表。

方法3：自定义Liquibase扩展（通用方案） #

针对多数据库环境，可开发自定义ChangeType封装通用分批逻辑：

1. 先查询待更新行的主键范围；
2. 按批次大小自动拆分update语句；
3. 循环执行每个批次并记录进度。
   这种方式无需针对不同数据库编写差异化SQL，适合复杂多库场景。

关键注意事项 #

• 优先用主键/唯一键过滤，避免WHERE column1 != 'some'这类全表扫描条件；
• 可给ChangeSet添加runInTransaction="false"，防止单个事务过大，但需确保业务允许部分更新失败后继续；
• 测试环境先验证分批逻辑，避免生产数据异常。

内容的提问来源于stack exchange，提问作者Dmitry Shabalin