如何配置Python日志以满足Splunk的多行日志及单行错误日志需求？

一、让Splunk正确识别Python服务的多行日志 #

如果你需要Splunk把Python输出的多行内容（比如异常栈追踪）识别为单个日志事件，有两种靠谱的做法：

• Splunk端配置多行事件合并：在Splunk的props.conf中针对你的Python日志源添加规则，指定多行事件的起始标记。比如你的日志每行开头都有YYYY-MM-DD HH:MM:SS格式的时间戳，就可以这么配置：

  [your_python_log_source]
  SHOULD_LINEMERGE = true
  LINE_BREAKER = ([\r\n]+)\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}
  TIME_PREFIX = ^
  

  这样Splunk会自动把下一个时间戳之前的所有行合并成一个完整事件。
• Python端输出结构化多行日志：用JSON格式输出日志，把多行内容（比如栈追踪）作为JSON的一个字段值。Splunk解析JSON时会完整保留这个字段的内容，不会拆分。可以用python-json-logger库快速实现：

  from pythonjsonlogger import jsonlogger
  import logging
  
  logger = logging.getLogger(__name__)
  handler = logging.StreamHandler()
  formatter = jsonlogger.JsonFormatter('%(asctime)s %(levelname)s %(message)s %(exc_info)s')
  handler.setFormatter(formatter)
  logger.addHandler(handler)
  logger.setLevel(logging.DEBUG)
  

  异常栈追踪会被存在exc_info字段里，在Splunk里是完整的单个事件。

二、让错误日志在Splunk中保持单行显示 #

要解决错误日志被拆分成多行的问题，核心是让Python输出的每条日志本身就是单行，避免换行符干扰。这里有两种简单的实现方式：

• 自定义日志格式化器替换换行符：继承logging.Formatter，把日志内容里的所有换行符替换成空格或其他分隔符，确保每条日志是单行：

  import logging
  
  class SingleLineFormatter(logging.Formatter):
      def format(self, record):
          # 替换日志消息里的换行符
          record.message = record.message.replace('\n', ' ')
          # 如果有异常栈追踪，也替换换行符
          if record.exc_info:
              record.exc_text = record.exc_text.replace('\n', ' | ')
          return super().format(record)
  
  # 配置logger
  logger = logging.getLogger(__name__)
  handler = logging.StreamHandler()
  handler.setFormatter(SingleLineFormatter('%(asctime)s %(levelname)s %(message)s'))
  logger.addHandler(handler)
  logger.setLevel(logging.ERROR)
  

• 用JSON格式输出日志：和上面的多行日志方案一致，每条日志输出为一个JSON字符串，自然就是单行。Splunk不仅不会拆分日志，还能直接解析JSON里的各个字段，方便后续的检索和分析。

内容的提问来源于stack exchange，提问作者Anuj Sharma