CSV导出流式传输过程中错误的最优处理方案

问题场景 #

我实现了一个CSV导出端点，从数据库逐行获取数据并写入BodyWriter，为控制内存消耗采用逐行处理方式。简易伪代码如下：

rows, err := db.Query(q)
if err != nil {
  w.WriteHeader(http.StatusInternalServerError) // <-- location 0
  return
}

for rows.Next() {
  if err := rows.Err(); err != nil {
    // <-- location 1
    return
  }

  r := result{}
  if err := rows.Scan(&r); err != nil {
    // <-- location 2
    return
  }

  stringSlice := convertToStringSlice(r)
  err := w.Write([]byte(line))
  if err != nil {
    // <-- location 3
    return
  }
}

return  // <-- location 4

各位置的状态说明：

• 位置0：仅调用一次BodyWriter.WriteHeader，无问题。
• 位置4：通过BodyWriter.Write隐式触发BodyWriter.WriteHeader，返回后连接关闭，客户端收到正常EOF。

核心疑问：若已写入若干行后，在位置1/2/3处发生错误，如何让客户端区分这与位置4的正常返回？希望通知客户端出错，但200状态码已发送，且Golang标准http库未提供手动关闭TCP连接的简便方式，该场景下的最佳处理方式是什么？

解决方案 #

1. 在响应体末尾添加错误标记（最可靠方案） #

HTTP协议规定响应头发送后无法修改状态码，因此只能通过响应体内容传递错误信息：

• 正常完成导出时，在CSV的最后一行写入特定的成功标记，比如"SUCCESS,导出完成"；
• 中途出错时，立即停止写入正常数据，在当前行（或新增一行）写入符合CSV格式的错误信息，比如"ERROR,数据库扫描失败:xxx"，然后终止响应。
• 客户端解析CSV时，检查最后一行的标记即可判断导出是否完整。

这种方案兼容性强，无论客户端或中间代理如何处理，都能通过内容本身识别错误，且不会破坏CSV的格式解析。

2. 利用分块编码主动中断连接（适配特定场景） #

Golang的http.ResponseWriter默认启用分块传输编码，中途出错时可以：

1. 先调用w.(http.Flusher).Flush()，强制将已缓存的CSV内容发送给客户端；
2. 尝试通过类型断言获取底层连接并关闭，主动触发客户端的连接中断：

   // 仅在需要快速中断连接时使用，依赖底层实现
   if conn, ok := w.(interface{ Close() error }); ok {
       _ = conn.Close()
   }
   

但这种方案存在兼容性问题：如果前端有反向代理（如Nginx），代理可能会捕获连接中断并返回默认错误页，客户端无法直接感知原始错误；且不同Go版本的ResponseWriter实现可能不同，类型断言不一定成功。

3. 提前预判减少中途错误 #

在开始写入响应体之前，尽可能做前置检查：

• 调用rows.Err()确认数据库查询初始化无错误；
• 若可行，提前获取查询结果的总行数，写入CSV的表头后先发送给客户端，减少中途出错的概率；
• 对数据库连接、权限等做预校验，避免在写入过程中出现初始化类错误。

虽然无法完全避免所有中途错误，但能有效降低这类情况的发生频率。

内容的提问来源于stack exchange，提问作者Alechko