如何优化从TCL向本地CouchDB写入日志的慢速度问题？

原代码核心性能瓶颈 #

你当前的实现每次调用都会启动curl外部进程，进程的启动与销毁会带来显著的性能开销，这是写入缓慢的主要原因。此外单条同步写入的方式会放大请求往返的耗时，以下是针对性的优化方案：

优化方案 #

1. 替换exec curl为TCL原生HTTP库

使用TCL自带的http包发起请求，彻底避免外部进程的开销，同时能更灵活地控制请求细节。需要搭配tcllib的base64包处理Basic认证、json包解析返回结果（未安装tcllib可通过teacup install tcllib安装）。

示例代码：

package require http
package require base64
package require json

proc WriteToLocalCouch { DbName JsonData } {
    global COUCH_USER COUCH_PASSWORD

    # 构造Basic认证头
    set auth [base64::encode "${COUCH_USER}:${COUCH_PASSWORD}"]
    set headers [list \
        "Content-Type" "application/json" \
        "Authorization" "Basic $auth" \
    ]

    # 构造请求URL
    set url "http://localhost:5984/${DbName}"

    # 发起POST请求
    set token [http::geturl $url -method POST -headers $headers -query $JsonData]
    set result [http::data $token]
    http::cleanup $token

    # 解析返回结果
    if {[catch {json::json2dict $result} resDict]} {
        puts "Error parsing response: $resDict"
        return 0
    }

    if {[dict get $resDict ok]} {
        return 1
    } else {
        puts "Error Writing to Db: [dict get $resDict error]"
        return 0
    }
}

2. 批量写入日志

CouchDB支持通过_bulk_docs端点批量写入多个文档，将多条日志攒成一批后再发起请求，能大幅减少HTTP请求次数，提升写入效率。

示例批量写入proc：

proc BulkWriteToLocalCouch { DbName JsonList } {
    global COUCH_USER COUCH_PASSWORD

    set auth [base64::encode "${COUCH_USER}:${COUCH_PASSWORD}"]
    set headers [list \
        "Content-Type" "application/json" \
        "Authorization" "Basic $auth" \
    ]

    set url "http://localhost:5984/${DbName}/_bulk_docs"
    # 构造批量请求的JSON结构
    set bulkJson [json::dict2json [list docs $JsonList]]

    set token [http::geturl $url -method POST -headers $headers -query $bulkJson]
    set result [http::data $token]
    http::cleanup $token

    # 检查批量写入结果
    if {[catch {json::json2dict $result} resList]} {
        puts "Error parsing bulk response: $resList"
        return 0
    }

    set hasError 0
    foreach res $resList {
        if {![dict exists $res ok] || ![dict get $res ok]} {
            puts "Bulk write error: [dict get $res error]"
            set hasError 1
        }
    }
    return [expr {!$hasError}]
}

你可以维护一个日志队列，比如当队列长度达到100条或者每隔1秒，调用这个批量写入proc清空队列。

3. 复用HTTP连接

开启HTTP长连接（Keep-Alive），避免每次请求都重新建立TCP连接的开销。在http包中可以通过全局配置开启：

http::config -keepalive yes

也可以在请求头中添加"Connection" "keep-alive"，进一步提升请求效率。

4. 异步写入（非强一致性场景适用）

如果日志写入不需要严格同步等待结果，可以采用异步请求的方式，让TCL主线程无需等待请求完成即可继续处理后续逻辑，提升整体吞吐量。示例（结合TCL事件循环）：

proc AsyncWriteToLocalCouch { DbName JsonData } {
    global COUCH_USER COUCH_PASSWORD

    set auth [base64::encode "${COUCH_USER}:${COUCH_PASSWORD}"]
    set headers [list \
        "Content-Type" "application/json" \
        "Authorization" "Basic $auth" \
    ]
    set url "http://localhost:5984/${DbName}"

    # 发起异步请求，指定回调函数处理结果
    http::geturl $url -method POST -headers $headers -query $JsonData -command {
        callbackAsyncWrite
    }
}

proc callbackAsyncWrite {token} {
    set result [http::data $token]
    http::cleanup $token
    # 仅记录错误，不阻塞主线程
    if {[catch {json::json2dict $result} resDict]} {
        puts "Async write parse error: $resDict"
    } elseif {![dict get $resDict ok]} {
        puts "Async write failed: [dict get $resDict error]"
    }
}

# 启动事件循环（如果主线程无其他事件循环则需要）
vwait forever

内容的提问来源于stack exchange，提问作者secretchromaticart