Python中SAX解析PDML格式PCAP日志遇非法字符的解决方案问询

问题核心 #

解析PDML格式PCAP日志时，日志中未转义的<>等字符导致SAX抛出SAXParseException；直接对BufferedReader调用xml.sax.saxutils.escape会报错（该函数仅接受字符串），且大文件无法全部读入内存处理。

解决方案：自定义流式转义包装类 #

通过包装原始输入流，实现逐块/逐行读取并实时转义XML特殊字符，再将处理后的流提供给SAX解析器，既保证流式处理，又修复格式问题。

1. 实现流包装类 #

import xml.sax.saxutils

class EscapedStream:
    def __init__(self, original_stream, encoding="utf-8"):
        self.original_stream = original_stream
        self.encoding = encoding
        self.buffer = ""

    def readline(self):
        line = self.original_stream.readline()
        if not line:
            return b""
        # 解码为字符串→转义特殊字符→重新编码为字节流
        escaped_line = xml.sax.saxutils.escape(line.decode(self.encoding))
        return escaped_line.encode(self.encoding)

    def read(self, size=-1):
        # 支持分块读取，适配SAX解析器的不同读取方式
        while size == -1 or len(self.buffer) < size:
            chunk = self.original_stream.read(4096)
            if not chunk:
                break
            self.buffer += xml.sax.saxutils.escape(chunk.decode(self.encoding))
        
        if size == -1:
            result = self.buffer.encode(self.encoding)
            self.buffer = ""
        else:
            result = self.buffer[:size].encode(self.encoding)
            self.buffer = self.buffer[size:]
        return result

2. 修改解析代码 #

将原始流替换为包装后的转义流，直接传入SAX的parse方法：

parser = xml.sax.make_parser()
parser.setContentHandler(content_handler_fun(call_back))
parser.setFeature(xml.sax.handler.feature_external_ges, False)

# 用转义流包装原始输入流
escaped_stream = EscapedStream(stdout_stream)
parser.parse(escaped_stream)

关键说明 #

• 包装类会在每次读取数据时，实时完成解码→转义→编码的流程，不会将整个文件加载到内存，适配大日志文件场景。
• 如果PDML日志使用非UTF-8编码，初始化EscapedStream时需指定对应encoding参数（比如encoding="gbk"）。
• 原有startElement/endElement的解析逻辑无需修改，SAX解析器会自动调用包装类的读取方法。

内容的提问来源于stack exchange，提问作者chandra