Go中用levigo操作LevelDB删除数据后空间未按预期释放的问题

我正在开发一个使用levigo包基于LevelDB存储数据的Go程序，目标是高效管理数据库大小，在存储空间不足时删除旧记录。但我发现异常现象：删除记录后，LevelDB数据库文件夹的大小并未按比例缩减。

复现代码 #

数据存储代码

package main

import (
    "crypto/rand"
    "fmt"
    "log"

    "github.com/jmhodges/levigo"
)

func main() {
    // Specify the LevelDB options
    options := levigo.NewOptions()
    cache := levigo.NewLRUCache(5 << 20)
    options.SetCache(cache)
    options.SetCreateIfMissing(true)
    options.SetMaxOpenFiles(100)

    // Open or create the LevelDB database
    db, _ := levigo.Open("/tmp/mydatabase", options)
    defer db.Close()

    dataSize := 1024 * 1024 * 5 // 5MB
    randomData := make([]byte, dataSize)
    rand.Read(randomData)

    // Enqueue 5 pieces of data
    for i := 1; i <= 5; i++ {
        key := []byte(fmt.Sprintf("key%d", i))

        // Write the batch to the database
        if err := db.Put(levigo.NewWriteOptions(), key, randomData); err != nil {
            log.Fatal(err)
        }

        fmt.Printf("Enqueued: %s \n", key)
    }

    fmt.Println("Enqueue completed.")
}

数据删除代码

package main

import (
    "fmt"
    "log"

    "github.com/jmhodges/levigo"
)

func main() {
    // Specify the LevelDB options
    options := levigo.NewOptions()
    cache := levigo.NewLRUCache(5 << 20)
    options.SetCache(cache)
    options.SetCreateIfMissing(true)
    options.SetMaxOpenFiles(100)

    // Open or create the LevelDB database
    db, _ := levigo.Open("/tmp/mydatabase", options)
    defer db.Close()

    // Dequeue (remove) the 3 pieces of data
    for i := 1; i <= 3; i++ {
        key := []byte(fmt.Sprintf("key%d", i))

        // Create a WriteOptions for deleting from the database
        wo := levigo.NewWriteOptions()
        defer wo.Close()

        // Delete the key from the database
        if err := db.Delete(wo, key); err != nil {
            log.Fatal(err)
        }

        fmt.Printf("Dequeued: %s\n", key)
    }

    fmt.Println("Dequeue completed.")
}

现象 #

运行存储代码写入5条数据后，数据库文件夹大小为30MB；运行删除代码删除3条数据后，文件夹大小仅降至26MB。考虑到删除的数据量，预期空间会有更明显的缩减。

疑问 #

1. 为何删除记录后LevelDB数据库文件夹大小未按比例缩减？
2. 为更高效管理数据库大小，我需考虑哪些额外配置或优化手段？
3. levigo中是否有特定方法可压缩数据库以释放未使用空间？

1. 删除后空间未缩减的原因 #

LevelDB采用追加式写入模型：所有写/删操作都不会直接修改或删除旧文件中的数据，删除操作只是写入一个「删除标记（tombstone）」，标记对应key已失效。

旧文件中的无效数据（包括被删除的key）只有在**后台Compaction（合并）**过程中才会被清理：LevelDB会合并多个SSTable文件，过滤掉无效条目，生成新的紧凑文件，之后才会删除旧的、不再被需要的文件。而Compaction是自动触发的，需要满足特定条件（如文件数量阈值、写入量累积值等），因此删除操作执行后不会立刻看到空间释放。

你的场景中，仅释放少量空间是因为Compaction还未触发，旧文件里的无效数据尚未被清理。

2. 数据库大小管理的优化手段 #

• 调整Compaction参数
  • SetMaxFileSize：控制单个SSTable文件的大小，合理设置可平衡Compaction频率与文件数量开销。
  • SetCompactionStyle：推荐使用levigo.KCompactionStyleLevel（层级压缩），相比默认的通用压缩更适合稳定空间占用的场景。
  • SetWriteBufferSize/SetMaxWriteBufferNumber：控制内存写入缓冲区的大小与数量，减少写入放大，避免频繁生成小SSTable文件。
  • SetBackgroundCompactions：增加后台Compaction线程数，提升无效数据的清理速度。
• 批量操作优化
  使用WriteBatch代替单条Put/Delete操作，减少写入次数与日志文件生成，降低写入放大。
• 定期清理+手动触发Compaction
  结合业务周期定期删除过期数据，之后手动触发Compaction，避免无效数据长期累积。

3. levigo中释放空间的方法 #

levigo提供CompactRange方法，可手动触发Compaction来压缩数据库、释放无效空间：

// 压缩整个数据库范围
db.CompactRange(nil, nil)

// 压缩指定key范围（示例：从key1到key3）
db.CompactRange([]byte("key1"), []byte("key3"))

调用该方法后，LevelDB会强制合并指定范围内的SSTable文件，清理掉删除标记及其他无效数据，生成更紧凑的文件，随后删除旧的无用文件，从而释放磁盘空间。

优化后的删除示例代码 #

在删除完成后手动触发Compaction，确保空间及时释放：

package main

import (
    "fmt"
    "log"

    "github.com/jmhodges/levigo"
)

func main() {
    options := levigo.NewOptions()
    cache := levigo.NewLRUCache(5 << 20)
    options.SetCache(cache)
    options.SetCreateIfMissing(true)
    options.SetMaxOpenFiles(100)

    db, err := levigo.Open("/tmp/mydatabase", options)
    if err != nil {
        log.Fatal(err)
    }
    defer db.Close()

    for i := 1; i <= 3; i++ {
        key := []byte(fmt.Sprintf("key%d", i))
        wo := levigo.NewWriteOptions()
        defer wo.Close()

        if err := db.Delete(wo, key); err != nil {
            log.Fatal(err)
        }
        fmt.Printf("Dequeued: %s\n", key)
    }

    // 手动触发全量Compaction
    db.CompactRange(nil, nil)
    fmt.Println("Dequeue and compaction completed.")
}

内容的提问来源于stack exchange，提问作者Ohadna