给MongoDB添加TTL索引后Golang无法重复插入数据问题排查

一、插入失败的根源与解决方案 #

核心错误分析 #

1. TTL索引参数完全用错：SetExpireAfterSeconds接收的是文档插入后存活的秒数，不是过期时间戳。你传入的url.Expires是未来的Unix时间戳（如1672819674），这会让expireAfterSeconds被设置成几千万秒（相当于几十年），完全偏离1天后过期的需求。
2. 重复创建冗余索引：每次插入前都调用CreateOne创建索引，且每次expireAfterSeconds参数不同（因为url.Expires是动态变化的未来时间戳），导致集合中生成了多个无效的TTL索引（从你提供的索引列表可以看到多个expires_*索引）。
3. 对索引键的误解：索引键{"expires":1}中的1是排序方向（升序），不是要求expires字段的值必须为1。你提到的“索引键值为固定值”是完全错误的理解。

正确的TTL索引实现 #

根据你的需求（文档1天后过期），两种可行方案：

方案1：固定存活时间（插入后1天过期）

只需要初始化集合时创建一次索引，无需每次插入都执行：

// 仅在集合首次使用时创建索引，后续无需重复执行
indexOpts := options.Index().SetExpireAfterSeconds(86400) // 1天=86400秒
_, err := c.Coll.Indexes().CreateOne(
    context.TODO(),
    mongo.IndexModel{Keys: bson.M{"created_at": 1}, Options: indexOpts},
)
if err != nil {
    log.Println(err)
    return nil, err
}

// 插入文档时，设置创建时间为当前时间
url.CreatedAt = time.Now()
_, err = c.Coll.InsertOne(c.Ctx, url)
return url, err

方案2：自定义每个文档的过期时间

如果需要每个文档有不同的过期时间，设置expireAfterSeconds:0，并确保文档中的过期时间字段为ISODate类型：

// 仅创建一次索引
indexOpts := options.Index().SetExpireAfterSeconds(0)
_, err := c.Coll.Indexes().CreateOne(
    context.TODO(),
    mongo.IndexModel{Keys: bson.M{"expires": 1}, Options: indexOpts},
)
if err != nil {
    log.Println(err)
    return nil, err
}

// 将Unix时间戳转为ISODate存入文档
url.Expires = time.Unix(url.ExpiresTimestamp, 0) // 替换为你的时间戳字段
_, err = c.Coll.InsertOne(c.Ctx, url)
return url, err

解决重复插入问题 #

你提到修改exp字段就能插入，说明集合中可能存在针对exp字段的唯一索引：

1. 删除冗余索引：通过MongoDB Shell执行db.your_collection.dropIndex("索引名")，删除所有多余的expires_*、exp_*索引，只保留一个正确的TTL索引。
2. 检查唯一索引：执行db.your_collection.getIndexes()，查看是否有带unique: true的非必要索引，如有则删除。

二、TTL删除时机说明 #

MongoDB的TTL删除是后台定时任务，规则如下：

• TTL守护进程默认每分钟唤醒一次，扫描所有TTL索引。
• 过期文档会被批量删除，但如果数据库负载较高，删除操作会延迟。
• 测试时设置TTL为20秒，需要等待最多60秒才会看到文档被删除；如果文档数量极少，删除触发可能更晚。

内容的提问来源于stack exchange，提问作者Snek