BeautifulSoup解析格式异常HTML无法提取mtl文本的解决方法

你拿到的HTML是未正确解码的Quoted-Printable（QP）编码内容：属性中出现的3D"是QP编码解码时丢失前缀=的残留（标准QP编码中=3D对应等号=），直接导致所有标签属性结构断裂，常规DOM解析器无法识别正常的标签层级和属性，常规元素定位方法自然失效。

方案1：预处理修复HTML后用BeautifulSoup解析（推荐，稳定性强） #

先对原始HTML字符串做规则替换，修复错乱的QP编码残留，再用BeautifulSoup自带的容错解析器处理即可正常定位元素，示例代码：

from bs4 import BeautifulSoup
import re

# 替换为你爬取到的原始异常HTML内容
raw_html = """<div class='3D"ServiceOffer_badge__kriSF"'>
  <div>
   <p ce__offering___1cjqq="" class='3D"Pri=' inline;"="" price__brand___2kedu="" price__large="___35JMV" price__price___38oh2="" price__price___38oh2"="" style='3D"display:'>
    <span class='3D"Pr=' ice__value___wawnq"="">
     0 =E2=82=AC
    </span>
    <span class='3D"Price__suffix___1=' d8-m"="">
     mtl.
    </span>
</div>
</div>"""

# 第一步：修复编码残留，将错误的3D"替换为正确的="
fixed_html = re.sub(r"3D\"", '="', raw_html)
# 第二步：用自带容错能力的html.parser解析，也可替换为容错性更强的lxml解析器
soup = BeautifulSoup(fixed_html, "html.parser")
# 第三步：定位目标元素，因类名已损坏，直接匹配包含目标文本的span标签即可
target_ele = soup.find("span", string=re.compile(r"mtl\."))
print(target_ele.text.strip())  # 输出：mtl.

如果是请求阶段拿到的响应本身就是QP编码，可直接在响应处理层用Python内置的quopri模块解码内容，从源头避免拿到错乱HTML，示例：

import requests
import quopri

resp = requests.get("目标页面地址")
# 直接用quopri解码QP编码的响应内容
correct_html = quopri.decodestring(resp.content).decode("utf-8")
# 后续直接用BeautifulSoup解析correct_html即可

方案2：正则直接匹配兜底（适合HTML损坏程度极高的场景） #

如果修复后DOM树仍然结构错乱无法解析，可直接利用目标文本mtl.特征明确、未被编码破坏的特点，用正则直接提取，示例：

import re

raw_html = "你爬取到的原始异常HTML内容"
match_res = re.search(r"<span[^>]*>\s*(mtl\.)\s*</span>", raw_html)
if match_res:
    print(match_res.group(1))  # 输出：mtl.

• 优先使用预处理+BeautifulSoup解析的方案，正则匹配仅作为兜底方案，避免匹配到页面其他位置的相似文本
• 若页面中其他文本也存在QP编码残留（比如示例中的=E2=82=AC是欧元符号€的QP编码），直接用quopri模块整体解码是最彻底的解决方式，不需要逐段做字符串替换

内容的提问来源于stack exchange，提问作者Es_ll_cryptoo