使用BeautifulSoup爬取网页返回空结果的问题排查

• 动态内容渲染：Zara商品页的尺码数据大概率是通过JavaScript动态加载的。你本地保存的MadeInItaly.html是浏览器执行完所有JS后的完整DOM结构，而直接用请求库（如requests）获取的只是服务器返回的初始HTML，此时目标元素还未被渲染出来。
  解决：使用Selenium、Playwright等无头浏览器工具模拟完整的浏览器渲染流程，等待JS执行完毕后再提取元素。示例代码（Selenium）：

  from selenium import webdriver
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  driver = webdriver.Chrome()
  driver.get("目标URL")
  # 等待元素加载完成
  sizes = WebDriverWait(driver, 10).until(
      EC.presence_of_all_elements_located((By.CLASS_NAME, "product-size-info__main-label"))
  )
  size_texts = [size.text for size in sizes]
  print(size_texts)
  driver.quit()
  

• 反爬机制的额外验证：除了User-Agent，Zara的服务器可能还会验证请求中的其他字段或状态：

  • Cookie：浏览器访问时会生成并携带特定Cookie，直接请求缺少这些Cookie会被返回简化版页面；
  • 请求头完整性：比如Referer、Accept-Language、Sec-Fetch-*等字段缺失，服务器会判定为非浏览器请求；
  • IP频率/指纹识别：短时间内多次请求可能被限制，或者服务器通过浏览器指纹识别爬虫。
    解决：复制浏览器开发者工具中真实请求的完整请求头（包括Cookie），在请求中完全复用；避免频繁请求，必要时使用代理IP。

• 地区/上下文依赖：Zara会根据访问者的IP地区、登录状态返回不同的页面内容。你本地保存的HTML是对应某一地区（比如意大利）的商品数据，直接请求时如果IP地区不同，可能该商品在目标地区无对应尺码，或者页面结构发生变化。
  解决：使用对应地区的代理IP，或者在请求头中设置正确的Accept-Language和包含地区偏好的Cookie。

• 页面结构版本差异：服务器可能根据设备类型、请求参数返回不同版本的页面结构。即使更换了User-Agent，若缺少Viewport等参数，服务器可能返回移动端页面，而你本地保存的是桌面端页面，两者的元素类名或结构不一致。
  解决：在请求头中添加Viewport字段（如viewport-width=1920），或者直接用无头浏览器模拟桌面端设备。

内容的提问来源于stack exchange，提问作者Lorenzo Castagno