使用BeautifulSoup如何从不完整缺失span标签的HTML中提取目标文本

你当前无法拿到目标文本的本质是：find_all('span')仅能匹配被HTML标签包裹的元素，而Ganze Schweiz、Gewerbe, Industrie这类内容是直接附着在父节点上的无标签包裹的裸文本节点，不属于任何span元素，因此无法被find_all方法捕获。

以下方案不需要对固定的mobile标签文本做硬编码匹配，不管内部提示文案如何变化、哪怕页面存在原生的span缺失结构错误，都可以正常工作：

• 针对region、branch这类结构（父节点下嵌套mobile标签，剩余内容为无标签裸文本），通过过滤所有子标签元素，直接提取节点下的裸文本节点即可
• 针对price模块的金额字段，直接定位固定类名的amount子节点提取文本即可

可直接运行的示例代码 #

from bs4 import BeautifulSoup, NavigableString

s = (
    '<span class="price"><span class="mobile">Preis</span>\n'
    + '<span class="currency">CHF</span><span class="amount">110\'000</span></span>\n'
    + '<span class="region"><span class="mobile">Region</span>Ganze Schweiz</span>\n'
    + '<span class="branch"><span class="mobile">Branche</span>Gewerbe, Industrie</span>\n'
)

# 指定html.parser作为解析器，避免跨环境解析结果不一致
soup = BeautifulSoup(s, 'html.parser')

# 通用工具函数：提取节点下所有直接附着的裸文本，自动跳过所有带标签的子元素
def extract_direct_text(element):
    valid_parts = []
    for content in element.contents:
        # 仅保留无标签包裹的文本节点，过滤掉所有HTML标签元素
        if isinstance(content, NavigableString):
            stripped_content = str(content).strip()
            if stripped_content:
                valid_parts.append(stripped_content)
    return ' '.join(valid_parts)

# 提取对应字段
region = extract_direct_text(soup.find('span', class_='region'))
# 输出结果：Ganze Schweiz
branch = extract_direct_text(soup.find('span', class_='branch'))
# 输出结果：Gewerbe, Industrie
price_amount = soup.find('span', class_='price').find('span', class_='amount').get_text(strip=True)
# 输出结果：110'000

• 完全不依赖.mobile标签内的固定提示文本，哪怕后续页面把“Region”“Branche”的文案改成其他语言、其他表述，提取逻辑也不需要修改
• 对页面原生的标签缺失、结构不完整问题有较强兼容性：只要解析器能正确识别目标父节点的从属关系，哪怕内部span未闭合，也可以正确提取裸文本内容
• 避免了全量取text再硬替换固定文本的脆弱实现逻辑

内容的提问来源于stack exchange，提问作者divingTobi