CSV批量插入数据库时Go切片内存占用过高问题求助

云上老周

2026-7-29

内存攀升问题分析与解决方法

问题原因

你用insertMain = nil重置slice的方式没法彻底释放内存，核心原因是：
slice的底层数组（容量至少500）还留在内存中，数组里的*models.MainEntry指针仍然指向对应的实体对象。GC无法回收这些实体，因为底层数组还持有引用，导致内存持续攀升。

正确的清理方式

要彻底释放内存，得先切断底层数组对实体的引用，再合理重置slice：

推荐方案：清空指针+复用容量

批量插入完成后，先把slice里的所有指针设为nil，再将slice长度重置为0（保留原容量，避免频繁分配内存，兼顾性能）：

if len(insertMain) >= 500 {
    u.db.CreateInBatches(insertMain, 500)
    // 清空所有指针，让GC能回收实体对象
    for i := range insertMain {
        insertMain[i] = nil
    }
    // 重置长度为0，保留容量供后续复用
    insertMain = insertMain[:0]
}

备选方案：重新创建空slice

如果不需要复用容量，直接新建一个初始容量为500的空slice也能解决问题：

if len(insertMain) >= 500 {
    u.db.CreateInBatches(insertMain, 500)
    // 新slice指向新底层数组，旧数组因无引用会被GC回收
    insertMain = make([]*models.MainEntry, 0, 500)
}

补充：处理循环结束后的剩余数据

循环结束后，可能还有未凑够500条的剩余数据需要插入，同样要执行清理操作：

// 插入剩余的待添加项
if len(insertMain) > 0 {
    u.db.CreateInBatches(insertMain, len(insertMain))
    // 执行清理（选上述任意一种方式即可）
    for i := range insertMain {
        insertMain[i] = nil
    }
    insertMain = insertMain[:0]
}