如何使用Logback合并生产环境多服务器Java应用的日志文件

你现有应用已经完成Logback适配，完全可以靠Logback原生能力实现需求，不需要引入额外采集组件，以下是对应两个核心诉求的可落地路径：

方案1：实时汇聚生成统一日志文件 #

这个方案对业务代码零侵入，仅需调整Logback配置，增量日志实时汇聚，存量历史日志用系统命令快速合并：

• 选其中一台服务器作为日志汇聚节点，在该节点配置ServerSocketAppender开启TCP端口监听，同时挂载滚动文件Appender，将收到的所有日志写入统一日志文件。核心配置示例：

<!-- 汇聚节点logback配置片段 -->
<appender name="UNIFIED_LOG_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>/data/log/app/all-unified.log</file>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <fileNamePattern>/data/log/app/all-unified.%d{yyyy-MM-dd}.log.gz</fileNamePattern>
        <maxHistory>30</maxHistory>
    </rollingPolicy>
    <encoder>
        <!-- 日志格式里预留实例标识位，方便区分日志来源 -->
        <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%X{instanceTag}] %-5level %logger{36} - %msg%n</pattern>
    </encoder>
</appender>

<appender name="LOG_RECEIVER" class="ch.qos.logback.classic.net.ServerSocketAppender">
    <port>4560</port>
    <includeCallerData>false</includeCallerData>
    <appender-ref ref="UNIFIED_LOG_FILE"/>
</appender>

• 两台业务应用服务器的Logback配置中，保留原有本地日志输出Appender的同时，新增SocketAppender将日志实时发送到汇聚节点，服务启动时在MDC中注入当前实例的唯一标识（比如instanceTag=server-01、instanceTag=server-02）即可。核心配置示例：

<!-- 业务节点logback配置片段 -->
<appender name="LOG_SENDER" class="ch.qos.logback.classic.net.SocketAppender">
    <remoteHost>汇聚节点内网IP</remoteHost>
    <port>4560</port>
    <reconnectionDelay>10000</reconnectionDelay>
    <includeCallerData>false</includeCallerData>
</appender>

<root level="INFO">
    <appender-ref ref="LOCAL_FILE_APPENDER"/> <!-- 原有本地日志Appender，不影响现有日志生成 -->
    <appender-ref ref="LOG_SENDER"/>
</root>

关于存量历史日志合并：Logback属于日志输出链路组件，本身不具备拉取远端静态历史日志文件的能力，不需要硬套Logback实现。把两台服务器上配置生效前的旧日志文件拷贝到同一目录后，执行sort -k 1,2 server1.log server2.log > merged-history.log，按日志行开头的时间戳字段排序即可快速合并，效率远高于自定义Java程序处理。

方案2：日志统一写入数据库存储 #

该方案同样基于Logback原生能力实现，后续日志查询、过滤不需要解析文本文件：

• 提前在目标数据库执行Logback对应版本自带的建表脚本，会生成logging_event、logging_event_property、logging_event_exception三张表，不需要自定义表结构。
• 两台业务应用服务器的Logback配置中新增DBAppender，统一连接到同一个日志数据库即可，MDC中注入的实例标识会自动存入logging_event_property表，方便按实例筛选日志。核心配置示例：

<appender name="DB_STORE" class="ch.qos.logback.classic.db.DBAppender">
    <connectionSource class="ch.qos.logback.core.db.DataSourceConnectionSource">
        <dataSource class="com.zaxxer.hikari.HikariDataSource">
            <jdbcUrl>jdbc:mysql://你的数据库地址:3306/log_db?useUnicode=true&characterEncoding=utf8</jdbcUrl>
            <username>log_writer</username>
            <password>你的数据库密码</password>
            <driverClassName>com.mysql.cj.jdbc.Driver</driverClassName>
        </dataSource>
    </connectionSource>
</appender>

后续REST Service发送全量日志的实现 #

根据你选的汇聚方案选对应实现即可，不需要额外引入采集组件：

• 如果选统一文件方案：在REST服务中维护文件读取指针，按批次读取统一日志文件的增量内容，序列化后发送，发送成功后更新指针位置避免重复发送。
• 如果选数据库存储方案：在REST服务中维护同步时间点位，分页查询点位之后的日志记录，序列化后发送，发送成功后更新点位即可。
• 如果需要实时推送日志，甚至可以省略汇聚节点，直接自定义Logback Appender：继承AppenderBase<ILoggingEvent>，重写append方法，内部用异步队列缓冲日志事件，批量序列化后通过HTTP客户端发送到目标REST接口，两台业务实例直接挂载这个自定义Appender即可。注意配置失败重试、队列溢出丢弃策略，避免阻塞业务主线程。

内容的提问来源于stack exchange，提问作者user2298581