Docker Swarm日志16k长度限制修改及Loki日志解析方案咨询

一、能否修改Docker日志行的拆分长度？ #

无法通过官方配置修改。你发现的16KB（16384字节）拆分限制是Docker json-file日志驱动的硬编码常量——在20.10.17版本的daemon/logger/jsonfilelog/jsonfilelog.go源码中，bufSize被定义为16 * 1024，用于控制单条日志的缓冲区上限，官方未提供可调整该值的配置项。

若强行修改此限制，只能自行编译修改源码后的Docker版本，但这会失去官方更新与技术支持，不建议在生产环境使用。

二、如何正确解析被拆分的日志（针对Loki/Promtail栈） #

针对Loki中日志重复出现时间戳的问题，无需对每条日志做复杂清理，可参考以下几种方案：

1. 通过Promtail Pipeline Stages合并拆分日志 #

利用Promtail的流水线阶段识别并合并Docker拆分的同一条日志：

• 先识别带有完整JSON结构的起始日志行（包含"log":"与时间戳字段）
• 将后续拆分出的同日志片段（同样是完整JSON，但log字段为截断内容）合并到初始日志的log字段中
• 最终丢弃拆分出的片段行，仅保留合并后的完整日志

示例Promtail配置片段：

scrape_configs:
- job_name: docker_swarm
  docker_sd_configs:
  - host: unix:///var/run/docker.sock
    role: service
  relabel_configs:
  - source_labels: ['__meta_docker_service_name']
    target_label: 'service'
  pipeline_stages:
  - json:
      expressions:
        log: log
        time: time
        stream: stream
  - multiline:
      firstline: '^{"log":".*"'
      max_wait_time: 1s
  - json:
      expressions:
        merged_log: log
  - labels:
      stream: stream

2. 更换日志驱动避免拆分 #

替换json-file驱动为可自定义行长度限制的local驱动：
local驱动默认日志行限制为100KB，还可通过max-line-size参数调整。修改Docker daemon配置/etc/docker/daemon.json：

{
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "log-driver": "local",
  "log-opts": {
    "max-size": "5m",
    "max-file": "5",
    "max-line-size": "100k"
  }
}

重启Docker daemon后生效，长日志将不再被拆分，Loki可直接解析完整JSON格式日志。

3. 应用层主动拆分日志 #

若无法修改Docker配置或驱动，可在应用代码中主动将超过16KB的日志拆分为多个小于16KB的行输出，避免Docker自动拆分。比如在你的Python应用中，对大日志内容做分段处理后再打印。

内容的提问来源于stack exchange，提问作者dorinand