使用BeautifulSoup/Selenium无法定位网页Overview元素求助

你遇到的核心问题是Overview区域的内容是JavaScript动态渲染的：用requests拉取的静态HTML里根本没有这部分内容，所以BeautifulSoup查不到对应元素；Selenium报错要么是没等元素加载完成就执行查找，要么是定位器不够精准。

以下是两种可行的解决办法：

方案一：用Selenium正确等待并定位元素 #

使用显式等待确保元素加载完成，同时调整定位器提升精准度：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def next_page_selenium(link):
    driver = webdriver.Chrome()  # 确保ChromeDriver路径已配置
    driver.get('https://www.nilfisk.com/' + link)
    
    try:
        # 显式等待元素加载，最长等待10秒
        overview_elements = WebDriverWait(driver, 10).until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'div.inner-html'))
        )
        title = driver.find_element(By.CSS_SELECTOR, 'h1.product__name-container').text
        print(f"{title}:")
        for elem in overview_elements:
            print(elem.text.strip())
    except Exception as e:
        print(f"获取Overview失败: {str(e)}")
    finally:
        driver.quit()

# 替换main函数里的next_page调用为该函数即可

方案二：直接调用API获取动态数据（更高效） #

动态内容通常来自后端API，抓包找到对应接口后直接请求，无需渲染页面：

import requests

def next_page_api(link):
    # 从产品链接中提取ID（需根据实际链接格式调整）
    product_id = link.split('/')[-1]
    # 示例API地址，需通过浏览器开发者工具抓包确认真实接口
    api_url = f"https://www.nilfisk.com/api/product/{product_id}?locale=en-au"
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
    }
    response = requests.get(api_url, headers=headers)
    product_data = response.json()
    
    title = product_data.get('name', '')
    overview = product_data.get('overview', '')  # 字段名需匹配API返回的JSON结构
    print(f"{title}: {overview}")

额外提示 #

• API方式比Selenium效率高得多，适合批量爬取场景；
• 若用Selenium，优先用显式等待而非time.sleep()，避免因页面加载慢导致的元素定位失败；
• 可通过浏览器开发者工具的Elements面板，确认Overview区域的真实DOM结构，调整定位器（比如添加父级容器限制，如div.product-overview .inner-html）。

内容的提问来源于stack exchange，提问作者user21245970