Promtail缓存最后一条TCP日志不推送至Loki的问题求助

核心问题根源 #

你的问题本质是TCP Syslog的日志边界识别+异步日志缓冲导致的延迟：

1. Promtail的Syslog TCP接收器依赖**换行符（\n）**作为单条日志的分隔标记，缺少换行时会将日志字节缓存，直到下一条日志到来（带换行）或连接关闭才会解析推送。
2. spdlog的异步logger默认会缓冲日志，不会立即发送到TCP sink。
3. Promtail默认的idle_timeout=60s意味着连接空闲60秒才会主动推送缓存的日志。

具体解决方案 #

1. 给spdlog日志格式添加换行符 #

修改你的日志pattern，在末尾强制添加\n，确保每条日志以换行结尾，让Promtail能正确识别单条日志：

// 定义格式时末尾加上换行
#define PROMTAIL_LOG_PATTERN "<165>4 %Y-%m-%dT%H:%M:%S.%eZ MY_APPLICATION MY_PROJECT - 1 - %v\n"

2. 调整spdlog异步logger的刷新策略 #

因为使用了异步logger，需要强制它及时刷新日志到TCP sink，避免缓冲堆积：

void init_logger() {
    spdlog::init_thread_pool(4096, 1);
    auto tcp_sink_config = spdlog::sinks::tcp_sink_config(172.17.0.1, 1514);
    tcp_logger_ptr = spdlog::create_async<spdlog::sinks::tcp_sink_mt>("TCP_logger", tcp_sink_config);
    tcp_logger_ptr->set_pattern(PROMTAIL_LOG_PATTERN);
    
    // 可选方案1：每条日志都立即刷新（适合低日志量场景）
    tcp_logger_ptr->flush_on(spdlog::level::trace);
    // 可选方案2：设置定时自动刷新，比如每1秒刷新一次（平衡性能与实时性）
    spdlog::flush_every(std::chrono::seconds(1));
}

3. 优化Promtail的Syslog配置 #

缩短idle_timeout时间，让Promtail在连接空闲时更快推送缓存的日志：

scrape_configs:
  - job_name: syslog
    syslog:
      listen_address: 0.0.0.0:1514
      idle_timeout: 5s  # 从60s缩短为5s，减少空闲等待时间
      label_structured_data: yes
      labels:
        job: "syslog"
    relabel_configs:
      - source_labels: ['__syslog_message_hostname']
        target_label: 'host'

4. 验证日志格式正确性 #

用nc命令直接测试Promtail的TCP端口，确认带换行的日志能被立即接收：

nc 172.17.0.1 1514
# 输入以下内容并回车
<165>4 2024-05-20T12:00:00.000Z MY_APPLICATION MY_PROJECT - 1 - test log\n

如果Grafana能立即看到这条测试日志，说明格式问题已解决。

内容的提问来源于stack exchange，提问作者lou lou