如何用Scapy正确解码IBKR FIX协议TCP数据包中的新闻内容？

问题根源 #

你遇到的乱码问题核心原因有两个：

• FIX协议不是纯ASCII文本，它用SOH字符（\x01，ASCII码1）作为字段分隔符，直接用ASCII解码会把这些控制字符替换成乱码。
• IBKR的新闻文本使用Windows-1252（而非纯ASCII）编码，非ASCII字符用ASCII解码会被替换成?。

解决方案步骤 #

1. 解析FIX协议结构

FIX协议的每个字段遵循tag=value格式，字段间用SOH分隔。比如你抓包的载荷里，8=O\x019=0204\x0135=G\x01对应：

• 8：BeginString（协议版本）
• 9：BodyLength（消息体长度）
• 35：MsgType（消息类型，G代表新闻消息）

2. 提取新闻文本字段

IBKR的新闻内容存储在**Text字段（tag=58）**中，需要从分割后的字段中定位这个tag对应的value。

3. 正确解码文本

使用Windows-1252编码解码文本字段，这是IBKR处理西欧字符的常用编码；如果解码失败，用Latin-1兜底避免乱码。

4. 处理TCP分片

如果抓包时TCP数据包被分片，Scapy可能只拿到部分payload，需要重组完整的TCP流才能解析到完整的新闻内容。

完整代码示例 #

from scapy.all import sniff, TCP, IP
from scapy.contrib.tcpflow import TCPFlow

# 存储TCP流，确保重组完整数据包
tcp_flows = {}

def parse_fix_news(pkt):
    if IP not in pkt or TCP not in pkt:
        return
    
    # 仅处理目标端口为4000的流量（IBKR TWS的FIX端口）
    if pkt[TCP].dport != 4000:
        return
    
    # 生成TCP流的唯一标识
    flow_key = (pkt[IP].src, pkt[TCP].sport, pkt[IP].dst, pkt[TCP].dport)
    if flow_key not in tcp_flows:
        tcp_flows[flow_key] = TCPFlow()
    
    # 添加数据包到流中
    tcp_flow = tcp_flows[flow_key]
    tcp_flow.add_packet(pkt)
    
    # 仅处理完整的流数据
    if not tcp_flow.complete:
        return
    
    payload = tcp_flow.payload
    if not payload:
        return
    
    # 按SOH分隔FIX字段
    fix_fields = payload.split(b'\x01')
    msg_type = None
    news_text = ""
    
    for field in fix_fields:
        if not field:
            continue
        # 分割tag和value（只分割第一个=）
        parts = field.split(b'=', 1)
        if len(parts) != 2:
            continue
        tag, value = parts
        
        # 记录消息类型，确认是新闻消息（35=G）
        if tag == b'35':
            msg_type = value.decode('ascii')
        # 提取新闻文本字段（tag=58）
        if tag == b'58':
            try:
                # 优先用Windows-1252解码
                news_text = value.decode('windows-1252')
            except UnicodeDecodeError:
                # 兜底用Latin-1
                news_text = value.decode('latin-1')
            # 清理无效控制字符
            news_text = ''.join([c for c in news_text if ord(c) >= 32 or c in ('\n', '\r')])
    
    # 打印提取到的新闻标题
    if msg_type == 'G' and news_text:
        print("完整新闻标题：", news_text)

# 启动抓包，过滤目标端口4000的TCP流量
sniff(prn=parse_fix_news, filter="tcp dst port 4000", store=0)

额外说明 #

• 你例子中的cont$nued和pro\xe0eomics异常字符，大概率是因为之前只抓到了分片的TCP数据包，重组完整流后就能得到正确的continued和proteomics。
• FIX协议还有转义规则（比如字段值中包含SOH时会被转义），但IBKR的新闻消息通常不会用到复杂转义，上述代码足以处理大多数场景。

内容的提问来源于stack exchange，提问作者A. McHugh