Python爬虫无法获取网页完整元素：URL片段提取问题求助

问题描述 #

需要从网页https://www.rtlplay.be/top-chef-p_8493提取类似emission-2-c_12999234的URL片段，手动通过开发者工具能找到，但现有Selenium代码导出的元素中无法获取该片段，同时需要优化代码批量提取这类片段用于拼接完整链接。

无法获取目标片段的原因 #

• 动态内容未加载完成：目标片段所在的元素是页面通过JavaScript异步加载的，原代码在driver.get(url)后立即抓取所有元素，此时动态渲染的内容还没生成，所以抓不到。
• 无头浏览器环境差异：默认的无头Firefox配置可能和普通浏览器存在差异（比如窗口尺寸过小、JS特性限制），导致部分动态内容无法正常渲染。
• 输出内容遗漏或截断：原代码抓取所有元素并写入文件，但outerHTML内容过多时可能被截断，或者你在文件中未定位到包含目标片段的元素位置。

优化后的代码 #

下面的代码通过添加显式等待、调整无头浏览器配置、精准定位目标元素来解决问题：

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import StaleElementReferenceException

# GeckoDriver路径
webdriver_path = r"C:\Users\sebastiens\Desktop\SMets Seb\geckodriver.exe"
url = "https://www.rtlplay.be/top-chef-p_8493"

# 配置Firefox选项，优化无头模式
options = webdriver.FirefoxOptions()
options.add_argument("--headless")
options.add_argument("--window-size=1920,1080")  # 设置窗口尺寸，避免布局异常
options.add_argument("--disable-gpu")  # 禁用GPU，减少无头模式差异

driver = webdriver.Firefox(service=Service(executable_path=webdriver_path), options=options)
driver.get(url)

try:
    # 显式等待动态元素加载，这里假设目标片段在a标签的href中，可根据实际调整定位器
    # 等待所有包含目标片段特征的元素加载完成
    wait = WebDriverWait(driver, 10)
    target_elements = wait.until(EC.presence_of_all_elements_located(
        (By.XPATH, "//a[contains(@href, 'emission-')]")
    ))

    # 提取所有URL片段
    url_fragments = []
    for element in target_elements:
        try:
            href = element.get_attribute("href")
            # 从href中提取目标片段，比如截取最后一段或匹配特定格式
            fragment = href.split('/')[-1] if href else None
            if fragment and fragment.startswith('emission-'):
                url_fragments.append(fragment)
        except StaleElementReferenceException:
            continue

    # 去重并保存结果
    unique_fragments = list(set(url_fragments))
    output_file = "url_fragments.txt"
    with open(output_file, "w", encoding="utf-8") as file:
        for frag in unique_fragments:
            file.write(f"{frag}\n")

    print(f"共提取到{len(unique_fragments)}个URL片段，已保存到{output_file}")

finally:
    driver.quit()

代码说明 #

• 显式等待：使用WebDriverWait等待目标元素加载完成，确保动态内容渲染完毕后再抓取。
• 无头模式优化：设置窗口尺寸、禁用GPU，缩小无头浏览器与普通浏览器的环境差异。
• 精准定位：通过contains(@href, 'emission-')定位包含目标片段的a标签，避免抓取无关元素。
• 片段提取：从href属性中拆分出目标片段，并去重后保存，方便后续拼接完整链接。

内容的提问来源于stack exchange，提问作者Sébastien Schoonjans