如何在Google Cloud Spanner中实现分批条件删除（替代LIMIT语法）

我之前迁移到Spanner时也碰到过一模一样的问题——原来依赖带LIMIT的DML DELETE分批删数据的路子走不通了，得适配Spanner基于Mutation.delete的删除逻辑。下面是我实际验证过的可行方案，核心思路是先批量查询符合条件的主键，再基于主键集合分批执行删除：

核心执行步骤 #

Spanner的Mutation.delete需要指定要删除记录的主键集合（KeySet），所以我们得把原来的"条件删除"拆成两步循环执行：

1. 批量查询符合条件的主键
   每次先执行一个只读查询，获取一批符合<condition_1>的主键，用LIMIT <chunk_size>控制每批数量，避免一次查询过多数据：

   SELECT <primary_key_columns> FROM <table_name> WHERE <condition_1> LIMIT <chunk_size>
   

   • 注意：必须查询表的全部主键列（如果是复合主键，要把所有主键字段都查出来），因为Spanner的Key需要完整的主键信息才能准确定位记录。
   • 优化建议：用只读事务执行这个查询，不需要加锁，既能提升查询效率，也不会影响其他写入操作。

2. 基于主键集合执行删除
   将查询到的主键转换成Spanner的KeySet，然后构建Mutation.delete操作，提交写入事务完成删除。

3. 循环直到无符合条件的记录
   重复上述两步，当查询返回的主键集合为空时，说明所有符合条件的记录都已删除完毕。

示例代码（Java客户端） #

下面是一个完整的Java示例，假设目标表的主键是单个列id：

import com.google.cloud.spanner.*;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

public class SpannerBatchDeleteExample {
    public static void main(String[] args) {
        // 初始化Spanner客户端
        Spanner spanner = SpannerOptions.newBuilder().build().getService();
        DatabaseClient dbClient = spanner.getDatabaseClient(
            DatabaseId.of("your-project-id", "your-instance-id", "your-database-id")
        );

        int chunkSize = 1000; // 可根据表结构和事务大小限制灵活调整
        boolean hasMoreRecords = true;

        while (hasMoreRecords) {
            // 1. 查询一批要删除的主键
            List<Key> keysToDelete = dbClient.readTransaction().run(ctx -> {
                Statement query = Statement.newBuilder(
                    "SELECT id FROM <table_name> WHERE <condition_1> LIMIT @chunkSize"
                ).bind("chunkSize").to(chunkSize).build();
                
                ResultSet resultSet = ctx.executeQuery(query);
                List<Key> keys = new ArrayList<>();
                while (resultSet.next()) {
                    keys.add(Key.of(resultSet.getLong("id")));
                }
                return keys;
            });

            if (keysToDelete.isEmpty()) {
                hasMoreRecords = false;
                break;
            }

            // 2. 构建并执行删除Mutation
            Mutation deleteMutation = Mutation.delete(
                "<table_name>",
                KeySet.newBuilder().addAllKeys(keysToDelete).build()
            );
            dbClient.write(Collections.singletonList(deleteMutation));

            System.out.printf("Deleted %d records in this batch%n", keysToDelete.size());
        }

        System.out.println("All matching records have been deleted.");
        spanner.close();
    }
}

关键注意事项 #

• 事务大小限制：Spanner单事务的总大小不能超过10MB，且单个事务中的Mutation数量不能超过10000个。所以需要根据主键的大小调整chunk_size——如果是复合主键或主键字段较长，要适当减小chunk_size，避免触发事务超限。
• 并发安全：如果有其他业务同时修改目标表的记录，可能会出现漏删或重复删除的情况。可以考虑：
  • 在查询主键时使用FOR UPDATE语句（需要用读写事务），锁定查询到的记录，避免被其他事务修改；
  • 如果表有版本列（如update_time），可以在查询条件中加入版本过滤，确保只删除查询时的版本。
• 性能优化：可以批量提交多个Mutation，或者用异步写入提升吞吐量，但要注意控制并发度，避免给Spanner实例造成过大压力。

内容的提问来源于stack exchange，提问作者Dionysius Andi