Python读取大PCAP文件写入文本速度过慢，寻求优化方案

一、现有代码的核心性能问题 #

1. 频繁文件IO操作：排序后循环内每次打开/关闭文件，IO开销极大。
2. pyshark本身的性能瓶颈：pyshark依赖外部tshark进程，解析大文件时进程间通信开销高。
3. 冗余代码：network_conversation函数中packet_length = []属于无效操作，增加不必要的计算。

二、针对性优化方案 #

方案1：优化现有pyshark代码

先解决最影响性能的文件IO和冗余代码问题，无需更换库：

import pyshark
from datetime import datetime

def network_conversation(packet):
    try:
        protocol = packet.transport_layer
        source_address = packet.ip.src
        source_port = packet[protocol].srcport
        destination_address = packet.ip.dst
        destination_port = packet[protocol].dstport
        packet_time = packet.sniff_time
        packet_length = int(packet.length)
        return f'{packet_time} {protocol} {source_address}:{source_port} --> {destination_address}:{destination_port} {packet_length}'
    except AttributeError:
        return None

# 启用pyshark的批量解析模式，减少进程通信开销
capture = pyshark.FileCapture('YouTube.pcap', use_json=True, include_raw=False)
date = datetime.now().strftime('%Y-%m-%d %H-%M-%S')
conversations = []

for packet in capture:
    result = network_conversation(packet)
    if result:
        conversations.append(result)

# 一次性打开文件写入所有排序后的内容，避免频繁IO
with open(f'capture{date}.txt', 'w') as f:
    for item in sorted(conversations):
        f.write(item + '\n')

优化点说明：

• 移除packet_length = []冗余代码
• 使用use_json=True让pyshark用JSON格式解析，比默认的XML更快
• 一次性打开文件完成所有写入操作，彻底消除频繁IO的开销

方案2：替换为Scapy（性能提升更明显）

Scapy是纯Python的网络包解析库，不需要依赖外部进程，解析大文件速度远快于pyshark：

from scapy.all import rdpcap
from datetime import datetime

def network_conversation(packet):
    try:
        # 判断是否有IP层和传输层（TCP/UDP）
        if 'IP' not in packet or (packet.transport_layer not in ('TCP', 'UDP')):
            return None
        protocol = packet.transport_layer
        source_address = packet['IP'].src
        source_port = packet[protocol].sport
        destination_address = packet['IP'].dst
        destination_port = packet[protocol].dport
        packet_time = packet.time
        # 转换时间格式和原代码一致
        packet_time_str = datetime.fromtimestamp(packet_time).strftime('%Y-%m-%d %H:%M:%S.%f')[:-3]
        packet_length = len(packet)
        return f'{packet_time_str} {protocol} {source_address}:{source_port} --> {destination_address}:{destination_port} {packet_length}'
    except (AttributeError, KeyError):
        return None

# 用Scapy读取PCAP文件，store=False可以边读边处理，节省内存（如果不需要保留所有包）
# 这里因为要排序，还是需要收集结果，所以store=True（默认）
packets = rdpcap('YouTube.pcap')
date = datetime.now().strftime('%Y-%m-%d %H-%M-%S')
conversations = []

for packet in packets:
    result = network_conversation(packet)
    if result:
        conversations.append(result)

# 一次性写入文件
with open(f'capture{date}.txt', 'w') as f:
    for item in sorted(conversations):
        f.write(item + '\n')

优化点说明：

• 纯Python实现，无外部进程依赖，解析速度提升数倍
• 直接通过Scapy的包对象获取字段，比pyshark的属性访问更高效
• 时间格式转换保持和原代码一致，确保输出结果兼容

三、额外性能建议 #

• 如果不需要对结果排序，可以边解析边写入文件，完全不需要把所有记录存在内存中，进一步节省内存和时间
• 对于超大PCAP文件，Scapy支持rdpcap的count参数分批读取，避免内存溢出

内容的提问来源于stack exchange，提问作者vile