你的静态页面爬虫运行正常，但在带反爬（验证码、速率限制）和动态内容的网站上出现封禁、响应为空/不完整的问题，以下是针对性解决方案：

一、提升爬虫可靠性的最佳实践 #

• 完善错误处理与重试机制：现有重试仅覆盖请求异常，可扩展检测HTTP 429/503等封禁类状态码，加入指数退避重试（如第1次等2s、第2次4s、第3次8s），避免短时间重复请求触发更严格限制。
• 验证响应有效性：每次获取页面后，检查响应是否包含目标内容（如预期选择器对应的元素），若为空或出现验证码页面，直接触发重试或切换代理。
• 增强日志监控：记录每个请求的状态码、响应大小、耗时及失败原因（如429、连接超时），方便快速定位问题节点。
• 模块化配置：将请求头、代理池、重试参数等抽离为独立配置文件，针对不同网站灵活调整策略。

二、处理JavaScript渲染的动态内容的方法 #

• 使用无头浏览器：替换requests为Playwright或Selenium，模拟真实浏览器加载页面并执行JS，完整渲染动态内容。示例代码：

  from playwright.sync_api import sync_playwright
  
  def fetch_dynamic_page(url):
      with sync_playwright() as p:
          browser = p.chromium.launch(headless=True)
          page = browser.new_page(user_agent=USER_AGENT)
          page.goto(url, wait_until="networkidle")
          html = page.content()
          browser.close()
          return html
  

• 直接调用后端API：通过浏览器开发者工具（Network面板）分析网站的XHR/Fetch请求，找到返回动态数据的API接口，直接请求JSON数据，效率远高于无头浏览器。
• 轻量渲染工具：使用requests-html，语法与requests接近，内置JS渲染功能，适合简单动态页面场景。

三、避免被封禁的通用策略 #

• 代理池轮换：构建或使用第三方代理IP池，每次请求随机切换代理，避免单一IP触发封禁限制。示例：

  import random
  PROXIES = [
      {"http": "http://proxy1:port", "https": "https://proxy1:port"},
      {"http": "http://proxy2:port", "https": "https://proxy2:port"},
      # 更多代理
  ]
  response = requests.get(url, headers=headers, proxies=random.choice(PROXIES))
  

• 随机请求头：维护多组真实请求头（含不同User-Agent、Accept、Referer），每次请求随机选择；必要时复用浏览器Cookie（从登录后的浏览器复制或让无头浏览器自动维护）。
• 智能请求频率控制：替换固定延迟为随机延迟（如1-3秒），避免机械性请求；参考目标网站robots.txt中的Crawl-delay值设置间隔，高峰时段降低爬取速率。
• 遵守网站规则：严格执行robots.txt限制，不爬取禁止访问的路径；分批次、分时段爬取，避免短时间内请求大量页面。
• 验证码处理：简单验证码可使用Tesseract OCR识别，复杂验证码（滑块、点选）可配合第三方打码平台，或用无头浏览器结合验证码识别工具自动处理。

四、现有代码优化建议 #

1. 替换固定User-Agent为随机列表：

   import random
   USER_AGENTS = [
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 14_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15",
       # 补充更多真实UA
   ]
   # 在fetch_page中随机选择
   headers["User-Agent"] = random.choice(USER_AGENTS)
   

2. 添加指数退避重试：修改fetch_page的重试延迟逻辑：

   except requests.RequestException as exc:
       logging.warning("Fetch failed on attempt %s for %s: %s", attempt, url, exc)
       time.sleep(2 ** attempt)  # 指数级延迟
   

3. 检测封禁响应：在fetch_page中增加封禁判断，触发后切换代理或延长等待：

   response = requests.get(url, headers=headers, timeout=15)
   if "captcha" in response.text.lower() or response.status_code == 429:
       logging.warning("Blocked detected on %s", url)
       time.sleep(10)
       continue
   

4. 针对LinkedIn等强反爬网站：这类平台反爬机制严格，直接使用requests无法获取内容，需用Playwright模拟登录后爬取，或申请官方API权限合规获取数据。

内容的提问来源于stack exchange，提问作者Abraham Joseph