Go操作PostgreSQL插入请求偶尔耗时飙升，寻求优化方案

针对你遇到的插入请求耗时波动问题，结合代码和PostgreSQL特性，给出以下具体优化方案：

1. 复用Prepared Statement，避免重复语句预处理 #

当前CreateNemBannerStorage函数每次调用都执行db.Prepare，会导致PostgreSQL重复解析、编译SQL语句，高并发下极易引发性能波动。建议在程序启动时提前预处理语句并全局复用：

var createBannerStmt *sql.Stmt

// 程序初始化阶段执行（比如DB连接成功后）
func InitBannerStmt(db *sql.DB) error {
    query := `
INSERT INTO
    banners_storage(tag_list, features_id, title_banner, text_banner, url_banner, banner_state)
VALUES ($1, $2, $3, $4, $5, $6)
RETURNING id_banner;
`
    var err error
    createBannerStmt, err = db.Prepare(query)
    return err
}

func CreateNemBannerStorage(db *sql.DB, tags []string, feature, active string, content []string) (*BannerId, error) {
    // 直接复用预编译语句
    var bannerId BannerId
    err := createBannerStmt.QueryRow(pq.Array(tags), feature, content[0], content[1], content[2], active).Scan(&bannerId.ID)
    if err != nil {
        return nil, err
    }
    return &bannerId, nil
}

2. 优化Go数据库连接池配置 #

Go的sql.DB是连接池模式，如果连接数不足，请求会等待获取数据库连接，直接导致耗时飙升。根据服务器和PostgreSQL配置调整连接池参数：

// 示例配置，需根据实际硬件调整
db.SetMaxOpenConns(16)    // 建议值：CPU核数*2+1
db.SetMaxIdleConns(8)     // 闲置连接数，避免频繁创建销毁连接
db.SetConnMaxLifetime(5 * time.Minute) // 连接最大存活时间，防止连接失效
db.SetConnMaxIdleTime(2 * time.Minute) // 闲置连接超时时间

3. 简化结果集处理逻辑 #

原代码用stmt.Query处理单行返回的ID，开销比QueryRow大，改用QueryRow可以减少结果集处理的额外消耗（如上述代码所示）。

4. 排查PostgreSQL自身性能瓶颈 #

开启慢查询日志定位问题 #

在postgresql.conf中配置：

log_min_duration_statement = 10ms  # 记录耗时超过10ms的语句
log_statement = 'mod'              # 记录所有数据修改语句

通过日志排查是否存在锁等待、WAL写入延迟等问题。

优化WAL写入配置 #

偶尔的高耗时可能是检查点（checkpoint）触发时的磁盘IO波动，调整以下参数让WAL写入更平滑：

wal_buffers = 16MB                # 增大WAL缓冲区，减少磁盘写入次数
checkpoint_completion_target = 0.9 # 让检查点在周期内均匀完成，避免突发IO

5. 缓存鉴权结果，减少额外DB查询 #

CreateNewBanner中每次插入都调用GetAdminState查询数据库，可将token对应的管理员状态缓存到内存或Redis中，降低重复查询的开销：

// 示例：用sync.Map做内存缓存
var adminCache = sync.Map{}

func (p *Post) CreateNewBanner(db *sql.DB, token, feature, active string, content, tags []string) (int, *postsql.BannerId, error) {
    // 先查缓存
    if val, ok := adminCache.Load(token); ok {
        avaliable, adminState := val.(bool), val.(bool) // 需根据实际结构调整
        if !avaliable {
            return 401, nil, nil
        }
        if !adminState {
            return 403, nil, nil
        }
    } else {
        // 缓存未命中时查DB，并存入缓存
        avaliable, adminState, err := getsql.GetAdminState(db, token)
        if err != nil {
            return 500, nil, err
        }
        adminCache.Store(token, struct{avaliable, adminState bool}{avaliable, adminState})
        // 后续鉴权逻辑...
    }

    // 插入逻辑...
}

内容的提问来源于stack exchange，提问作者Andy Kostryukov