如何提升C客户端与单节点InfluxDB的写入性能？

嘿，我看到你现在用libcurl的HTTP POST给单节点InfluxDB写数据，目前每秒2.526K次写入，想提升性能对吧？结合我做过的类似优化，给你几个实用的方向，都是针对libcurl和InfluxDB写入特性来的：

1. 批量写入代替单条写入 #

这是提升写入性能最显著的一步！InfluxDB的HTTP接口天生支持批量写入——把多条数据打包成一个POST请求发送，能大幅减少TCP连接建立、HTTP请求头的重复开销。你现在的无限循环单条发送，相当于每次都要走一遍完整的TCP握手、HTTP请求响应流程，这是最大的性能瓶颈。

• 具体做法：攒够N条数据（比如100条、500条，建议根据实际测试调整最优值），按照InfluxDB的行协议格式（每条数据单独一行）拼接成一个字符串，然后一次性POST给InfluxDB。
• 举个例子：原来单条的行协议是temp sensor=room1 value=25.3 1690000000000000000，批量的话就把多条用换行符拼接：

  temp sensor=room1 value=25.3 1690000000000000000
  temp sensor=room2 value=24.8 1690000000001000000
  temp sensor=room3 value=26.1 1690000000002000000
  

2. 复用CURL句柄与TCP连接 #

libcurl创建和销毁CURL句柄是有不小开销的，而且TCP连接的复用（HTTP Keep-Alive）能帮你省掉每次握手的时间：

• 不要在循环里每次都创建新的CURL句柄，初始化时创建一个，整个循环过程中复用它。
• 显式开启TCP保活和连接复用：设置CURLOPT_TCP_KEEPALIVE为1，CURLOPT_FORBID_REUSE为0（默认是0，但显式设置更稳妥），让TCP连接保持打开状态，避免每次请求都重新握手。
• 代码示例（调整你的逻辑）：

  // 程序初始化时只创建一次CURL句柄
  CURL *curl = curl_easy_init();
  if (!curl) {
      // 错误处理逻辑
      return -1;
  }
  
  // 提前设置好固定不变的选项（URL、认证、连接参数等）
  curl_easy_setopt(curl, CURLOPT_URL, "http://your-influxdb:8086/write?db=your_db");
  curl_easy_setopt(curl, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
  curl_easy_setopt(curl, CURLOPT_USERPWD, "username:password");
  curl_easy_setopt(curl, CURLOPT_TCP_KEEPALIVE, 1L);
  curl_easy_setopt(curl, CURLOPT_FORBID_REUSE, 0L);
  curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1L); // 多线程环境下必须设这个，避免信号冲突
  
  // 你的无限循环逻辑
  while (1) {
      // 1. 拼接批量数据到post_data字符串
      char *post_data = build_batch_points(); // 自己实现的批量数据拼接函数
  
      // 2. 设置本次请求的动态参数（只有数据是变的）
      struct curl_slist *headers = curl_slist_append(NULL, "Content-Type: text/plain");
      curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
      curl_easy_setopt(curl, CURLOPT_POSTFIELDS, post_data);
      curl_easy_setopt(curl, CURLOPT_POSTFIELDSIZE, strlen(post_data));
  
      // 3. 执行请求
      CURLcode res = curl_easy_perform(curl);
      if (res != CURLE_OK) {
          fprintf(stderr, "curl perform failed: %s\n", curl_easy_strerror(res));
      }
  
      // 4. 清理本次请求的临时资源
      curl_slist_free_all(headers);
      free(post_data);
  
      // 其他业务逻辑...
  }
  
  // 程序退出时再销毁句柄
  curl_easy_cleanup(curl);
  

3. 并行请求（多线程/多句柄） #

如果批量写入后性能还没达到预期，可以尝试用并行请求来压榨单节点InfluxDB的处理能力：

• 用libcurl的multi接口（单线程多句柄），或者自己开几个线程，每个线程持有一个复用的CURL句柄，各自发送批量请求。
• 注意控制并发数：单节点InfluxDB默认的并发处理能力有限，建议从4、8个并发开始测试，太多会导致数据库过载，反而降低写入速度。

4. 调整InfluxDB单节点配置 #

默认的InfluxDB配置不是为极致写入性能优化的，你可以调整几个关键参数：

• [http]部分的max-concurrent-write-limit：提高允许的并发写入连接数，比如设为100。
• [data]部分的wal-fsync-delay：延长WAL（预写日志）同步到磁盘的延迟，比如设为1000ms（注意：这会牺牲一点数据安全性，断电可能丢失最近1秒的数据，权衡业务需求）。
• [data]部分的cache-max-memory-size：增大内存缓存的大小，减少频繁的磁盘写入操作，比如设为4GB（根据服务器内存调整）。

5. 关闭libcurl的冗余选项 #

检查你的configure_curl_easy_operation函数，有没有开启不必要的选项，这些会额外消耗性能：

• 关闭CURLOPT_VERBOSE：调试时有用，生产环境一定要关掉，避免日志输出开销。
• 不要设置CURLOPT_FOLLOWLOCATION：InfluxDB的写入接口不会重定向，这个选项完全没用。
• 确保CURLOPT_NOSIGNAL设为1：多线程环境下必须设置，避免libcurl的信号处理和你的程序冲突，带来额外开销。

内容的提问来源于stack exchange，提问作者Oscar