如何读取编码多变的Berkeley mbox格式邮件文件？

你的问题出在用UTF-8文本模式打开包含多编码邮件的mbox文件，文本模式会强制用指定编码解码所有字节，遇到非UTF-8字符直接抛出解码错误。Python标准库的email模块已经提供了完整的mbox处理方案，不需要手动二进制解析，具体解决方式如下：

标准处理方案：使用email.mbox模块 #

email.mbox是专门处理Berkeley mbox格式的工具，它以二进制模式读取文件，自动分割每封邮件，并处理邮件头和内容的编码解码逻辑。

示例代码：

import email
from email import policy

# 二进制模式打开mbox文件，避免自动解码
with open('/Users/falk/Mail/art2', 'rb') as mbox_file:
    # 遍历mbox中的每一封邮件
    for msg in email.mbox.mbox(mbox_file, policy=policy.default):
        # 自动解码邮件头（如Subject、From）
        print(f"From: {msg['From']}")
        print(f"Subject: {msg['Subject']}")
        # 如需获取邮件内容，自动处理编码
        # plain_body = msg.get_body(preferencelist=('plain',))
        # if plain_body:
        #     print(plain_body.get_content())

核心原理 #

1. 二进制模式打开：用'rb'模式打开文件，读取原始字节流，避免文本模式的强制解码。
2. 自动分割邮件：email.mbox会自动识别From 开头的分隔行，拆分出每封邮件。
3. 编码自动处理：policy.default策略会按照邮件标准（如RFC 2047）自动解码邮件头的编码字符，同时处理邮件内容的多编码情况。

若需手动处理单封邮件头 #

如果你只需要读取第一封邮件的头，可以用二进制读取+邮件解析的方式，示例：

import email
from email import policy

with open('/Users/falk/Mail/art2', 'rb') as ifile:
    while True:
        line = ifile.readline()
        if not line:
            break
        # 定位到第一封邮件的起始From行
        if line.startswith(b"From "):
            # 读取整封邮件的字节内容
            msg_bytes = line
            while True:
                next_line = ifile.readline()
                if not next_line or next_line.startswith(b"From "):
                    # 把下一个From行放回文件指针，供后续处理
                    if next_line:
                        ifile.seek(-len(next_line), 1)
                    break
                msg_bytes += next_line
            # 解析邮件字节，自动处理编码
            msg = email.message_from_bytes(msg_bytes, policy=policy.default)
            # 打印解码后的头信息
            print(f"Decoded headers:")
            print(f"From: {msg['From']}")
            print(f"Subject: {msg['Subject']}")
            break

不要用文本模式打开mbox文件，这类文件本质是多编码的二进制流，email模块已经封装了所有标准处理逻辑，无需自行实现编码判断和解码。

内容的提问来源于stack exchange，提问作者Edward Falk