Python logging处理10万QPS实时请求日志丢包问题求助

一、用异步队列解耦接收与写入逻辑 #

Python自带的logging是同步阻塞的，每秒10万次请求下，写磁盘的IO阻塞和模块内部的锁会直接导致请求丢包。

• 加个中间队列：把UDP收到的日志先扔进multiprocessing.Queue（多进程场景）或者asyncio.Queue（异步场景），单独开进程/线程负责从队列里取日志写文件，这样接收端不会被写IO拖慢，能一直处理新请求。
• 别用SysLogUDPHandler做接收：这个类本来是用来发日志到syslog的，接收UDP日志直接用socket模块开非阻塞套接字，Linux下开SO_REUSEPORT，让多个进程能绑定同一个端口，并行接收，提升吞吐量。

二、优化文件写入的性能瓶颈 #

自定义的TimedRotatingFileHandler在高并发下的锁和切文件逻辑效率很低，改这几点：

• 批量写入日志：攒个几百上千条日志再一次性写入磁盘，减少IO次数。注意切日志的时候要把攒的批量日志写完再切换，别丢数据。
• 换更高效的文件操作：别用logging的handler封装，直接用aiofiles（异步）或者底层的os.write，减少Python层的额外开销。如果日志是结构化的（比如JSON），别在Python里做格式化，直接原封不动写，省CPU。
• 简化日志切割逻辑：如果用时间切割，别每次写日志都检查时间，定时单独触发切割操作，避免每次写日志都做时间判断的开销。

三、用多进程突破GIL限制 #

Python的GIL会卡住单线程的CPU利用率，高并发下必须上多进程：

• 多进程并行接收UDP：Linux下开SO_REUSEPORT，多个子进程绑定同一个UDP端口，每个进程独立接收、解析日志，然后把日志扔到公共队列。
• 分文件多进程写入：如果单进程写文件还是慢，按日志的某个字段（比如来源IP）哈希取模，分配到不同的文件，每个进程负责一个文件，避免多进程写同一个文件的锁竞争。

四、解决UDP层面的丢包问题 #

UDP本身不可靠，系统层面的缓冲区满了也会丢包：

• 调大系统UDP接收缓冲区：修改/proc/sys/net/core/rmem_default和/proc/sys/net/core/rmem_max，比如设成16777216（16MB），让内核能存更多待处理的UDP包，避免缓冲区溢出自行丢包。
• 开启UDP校验：虽然会加一点CPU负载，但能过滤损坏的日志，避免无效数据占用资源。

五、极端场景下换更高效的方案 #

如果Python的性能顶不住，可以考虑：

• 用编译型语言写核心服务：用Go或者Rust写UDP接收和文件写入的逻辑，性能比Python高好几倍，Python只负责后续的日志分析或者统计。
• 用专业日志系统接手：直接把UDP日志转发给rsyslog、fluentd这类专门的日志收集系统，它们天生就是为高吞吐量设计的，能自动处理负载均衡、日志切割、持久化，不用自己造轮子。

内容的提问来源于stack exchange，提问作者Mohammadreza Riahi