Clutch.co爬虫多站点运行异常排查与异常处理优化需求

一、优化元素定位策略（解决跨区域DOM结构差异问题） #

• 放弃硬编码区域专属选择器，改用跨区域通用特征定位：
  手动对比美区与问题区域的页面DOM，提取企业卡片、名称、标语、评分等元素的共同属性（比如data-*类数据属性、通用父容器层级）。例如优先用[data-test="company-card"]定位企业卡片，再在卡片内用相对选择器找子元素，而非依赖绝对路径或区域特有的类名。
• 采用「父容器→子元素」的相对定位逻辑：
  先定位所有企业卡片容器（如div.provider-row），再遍历每个卡片单独提取字段，避免因页面布局微调导致的选择器失效。示例：

  card_list = driver.find_elements(By.CSS_SELECTOR, 'div.provider-row')
  for card in card_list:
      # 在卡片内找名称，而非直接全局查找
      name_elem = card.find_elements(By.CSS_SELECTOR, '[data-id="firm-name"]')
  

• 用「存在性判断」替代直接取值：
  对每个字段先判断元素是否存在，再提取内容，避免因部分区域站点缺少某字段（如标语）导致的查找失败。

二、重构异常处理逻辑（解决数组长度不匹配与崩溃问题） #

• 单字段独立捕获异常：
  对每个字段（名称、评分、标语）单独添加NoSuchElementException捕获，找不到则赋值None，而非让整个抓取流程中断。示例：

  for card in card_list:
      data_row = {}
      # 处理企业名称
      try:
          data_row['name'] = card.find_element(By.CSS_SELECTOR, '[data-id="firm-name"]').text
      except NoSuchElementException:
          data_row['name'] = None
      # 处理评分
      try:
          data_row['rating'] = card.find_element(By.CSS_SELECTOR, 'span.rating').get_attribute('data-rating')
      except NoSuchElementException:
          data_row['rating'] = None
      # 其他字段同理
      all_data.append(data_row)
  

• 单卡片生成完整记录，避免分列表存储：
  不要把名称、评分分别存入独立列表再合并，而是每处理一个卡片就生成一条完整的数据字典，直接加入总列表，从根源避免数组长度不匹配导致的DataFrame创建失败。
• 全局超时与异常兜底：
  对页面加载、元素等待添加TimeoutException捕获，超时则跳过当前页面或重试；外层添加通用异常捕获，避免单个页面出错导致整个爬虫崩溃。示例：

  for page_num in range(1, max_pages + 1):
      try:
          driver.get(f"{base_url}?page={page_num}")
          # 等待卡片加载完成，延长超时时间适配慢加载区域
          WebDriverWait(driver, 25).until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div.provider-row')))
          # 处理当前页面卡片
      except TimeoutException:
          print(f"页面{page_num}加载超时，跳过")
          continue
      except Exception as e:
          print(f"页面{page_num}抓取失败: {str(e)}")
          continue
  

三、超时加载优化（适配不同区域站点速度） #

• 用动态等待替代固定休眠：
  完全替换time.sleep()，改用WebDriverWait结合预期条件（如presence_of_element_located），既节省时间又避免因页面加载慢导致的元素未出现问题。
• 调整页面加载策略：
  启用Chrome的eager加载策略，DOM结构加载完成即开始处理，无需等待图片、样式等资源加载完毕，适合爬虫场景：

  options = webdriver.ChromeOptions()
  options.page_load_strategy = 'eager'
  driver = webdriver.Chrome(options=options)
  

• 延长超时阈值：
  针对非美区站点，把WebDriverWait的超时时间从10秒提升至20-30秒，同时设置页面加载超时：driver.set_page_load_timeout(30)。

内容的提问来源于stack exchange，提问作者zero