自定义Logback DBAppender同步日志性能极低问题咨询

兄弟，我太懂你这种同步日志直接把系统性能拖垮的糟心感了！针对你基于Logback DBAppender自定义实现、100个并行线程写入日志导致执行时间从20分钟暴涨到5小时的问题，给你几个实战性拉满的优化方案：

Logback原生就带AsyncAppender，把你的自定义DBAppender包装进去就行——核心思路就是让业务线程不用等日志写入数据库，把IO操作甩给异步线程池处理，业务逻辑该跑就跑，完全不耽误。

给你个配置示例，直接套就行：

<appender name="ASYNC_CUSTOM_DB" class="ch.qos.logback.classic.AsyncAppender">
  <!-- 引用你的自定义DBAppender -->
  <appender-ref ref="YOUR_CUSTOM_DB_APPENDER"/>
  <!-- 队列大小根据你的线程数调整，100线程的话设2048足够缓冲峰值 -->
  <queueSize>2048</queueSize>
  <!-- 队列满时丢弃WARN以下的日志，绝对不能让日志阻塞业务 -->
  <discardingThreshold>0</discardingThreshold>
  <!-- 关键！设为true保证业务线程永远不会被日志队列阻塞 -->
  <neverBlock>true</neverBlock>
</appender>

记得把业务代码里的日志输出指向这个ASYNC_CUSTOM_DB appender，而不是直接用你的自定义DBAppender。

同步写入慢很大概率是DB操作本身的开销太高，比如每次写日志都新建连接、单条插入：

• 搞批量插入：攒够N条日志（比如50条）或者每隔固定时间（比如1秒）再一次性提交到数据库，能把多次IO合并成一次，效率提升好几倍。注意要处理好线程安全，比如用线程安全的队列缓存日志事件，定时或者定量触发批量写入。
• 复用数据库连接：一定要用连接池（比如HikariCP），绝对不能每次写日志都新建JDBC连接——连接的创建销毁开销比单条插入大得多。确保你的自定义Appender是从连接池拿连接，用完归还。
• 关闭自动提交：批量插入时关闭JDBC的autoCommit，手动执行commit()，减少数据库的事务提交次数，降低开销。

• 给AsyncAppender加线程数：默认AsyncAppender只有1个工作线程，你可以通过workerCount参数调整，比如设成4-8（根据你的CPU核心数来，一般是核心数的1-2倍），让异步线程能并行处理DB写入，不会成为新的瓶颈。
• 数据库端优化：给日志表建立必要的索引（别建太多，写入时索引会增加开销），调整数据库的连接池大小，开启写入缓存（比如MySQL的innodb_flush_log_at_trx_commit可以设为2，牺牲一点一致性换写入性能，根据业务容忍度来）。

如果业务允许，对高频的DEBUG/INFO日志做采样，比如每10条只记录1条；或者直接把日志级别调高到WARN/ERROR，减少写入数据库的日志量——从根源降低IO压力，效果立竿见影。

内容的提问来源于stack exchange，提问作者Ven