使用Python+BeautifulSoup抓取部分网站联系页失败的问题排查

我用Python结合BeautifulSoup抓取各网站的联系页面，核心逻辑是查找包含contact或kontakt（不区分大小写）关键词的<a>标签，主要采用两种提取方式：

第一种是匹配标签文本：

contact_links = soup.find_all('a', text=re.compile(r'(contact|kontakt)', re.IGNORECASE))

第二种是匹配链接地址：

contact_links = soup.find_all('a', href=re.compile(r'(contact|kontakt)', re.IGNORECASE))

这个逻辑在多数网站能生效，但在部分站点（如某医疗设备官网）失效。我尝试改用Selenium渲染页面后再用BeautifulSoup处理，代码如下：

browser = webdriver.Chrome()
browser.get(url)
html_content = browser.page_source
print(html_content)
soup_1 = BeautifulSoup(html_content, "html.parser")
contact_links_1 = soup_1.find_all('a', text=re.compile(r'(contact|kontakt)', re.IGNORECASE))

虽然能抓到部分链接，但仍存在问题——比如某食品品牌官网里的这个<a>元素始终无法抓取：

<a title="Contact form" href="https://reigjofre.com/en/contact/">Contact form

问题原因分析 #

1. 文本匹配未处理空白字符

BeautifulSoup的text参数匹配的是标签内的原始文本（包含换行、缩进等空白字符）。你提供的<a>标签文本末尾带有换行符，而你的正则仅匹配Contact form，未考虑后续空白，导致匹配失败。

2. Selenium页面加载不充分

直接调用browser.page_source可能在页面动态元素尚未加载完成时就获取了HTML，部分联系链接可能是异步加载的，此时自然无法抓取到。

3. 文本嵌套在子元素中

有些网站的联系文本并非直接放在<a>标签下，而是嵌套在<span>、<p>等子元素里。此时用text=re.compile()可能无法正确拼接所有子元素文本，导致匹配失效。

解决方法 #

针对文本匹配问题

改用lambda函数处理文本，先去除首尾空白再进行匹配：

import re
from bs4 import BeautifulSoup

# 优化BeautifulSoup的文本匹配逻辑
contact_links = soup.find_all(
    'a',
    lambda tag: tag.get_text(strip=True) and re.search(r'(contact|kontakt)', tag.get_text(strip=True), re.IGNORECASE)
)

针对Selenium加载问题

增加等待逻辑，确保页面元素加载完成后再获取源码：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import re

browser = webdriver.Chrome()
browser.get(url)
# 等待页面中至少出现一个<a>标签，最长等待10秒
WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.TAG_NAME, 'a')))
html_content = browser.page_source
soup_1 = BeautifulSoup(html_content, "html.parser")

# 同样用strip处理文本后匹配
contact_links_1 = soup_1.find_all(
    'a',
    lambda tag: tag.get_text(strip=True) and re.search(r'(contact|kontakt)', tag.get_text(strip=True), re.IGNORECASE)
)

内容的提问来源于stack exchange，提问作者BR4TO92