如何禁用BeautifulSoup lxml解析器的编码错误日志输出？

这些警告来自libxml2底层，Python常规日志拦截手段无效，可通过以下几种方式关闭：

方法1：临时重定向标准错误输出 #

在解析HTML的代码段前后，将stderr临时定向到空设备，避开警告输出：

import sys
from contextlib import contextmanager

@contextmanager
def suppress_libxml2_warnings():
    original_stderr = sys.stderr
    try:
        # Linux/macOS用'/dev/null'，Windows替换为'NUL'
        with open('/dev/null', 'w') as f:
            sys.stderr = f
            yield
    finally:
        sys.stderr = original_stderr

# 使用示例
with suppress_libxml2_warnings():
    document = BeautifulSoup(html_content_bytes, 'lxml')

方法2：切换解析器 #

如果对解析速度要求不高，改用Python内置的html.parser，完全避开libxml2的警告：

document = BeautifulSoup(html_content_bytes, 'html.parser')

方法3：通过lxml API设置错误处理 #

直接调用lxml的接口修改libxml2的错误处理级别：

from lxml import etree

# 启用恢复模式并压制所有警告
etree.set_default_parser(etree.XMLParser(encoding='utf-8', recover=True, suppress_warnings=True))

# 正常使用BeautifulSoup
document = BeautifulSoup(html_content_bytes, 'lxml')

内容的提问来源于stack exchange，提问作者Franco Lopez Paviolo