无唯一表引用及URL的环法历史站点年/阶段数据爬取求助

问题原因 #

直接用requests请求静态页面拿不到表格数据，因为该站点的赛段数据是动态加载的：只有用户通过页面上的年份/阶段筛选器选择后，页面才会通过AJAX请求从后端API拉取对应数据并渲染表格，初始静态HTML里没有你要找的rankingTable表格。

解决方案 #

下面提供两种可行方案，优先推荐API爬取（效率更高），其次是模拟浏览器交互。

方案1：直接调用后端API（推荐） #

通过浏览器开发者工具的「网络」面板，可找到站点加载赛段数据的API接口。步骤如下：

1. 打开目标页面，打开浏览器开发者工具（F12），切换到「网络」标签，勾选「XHR」过滤；
2. 选择任意年份和赛段，观察新出现的XHR请求，可找到类似格式的API：

   https://www.letour.fr/api/history/ranking?year={年份}&stage={赛段编号}&type=stage
   

3. 该接口返回JSON格式数据，直接解析即可提取所需字段，无需处理HTML。

代码示例

import requests
import pandas as pd

# 定义要爬取的年份范围（可根据需要调整）
years = range(2020, 2024)
all_data = []

for year in years:
    # 环法常规最多21个赛段，可根据实际年份调整
    max_stages = 21
    for stage in range(1, max_stages + 1):
        api_url = f"https://www.letour.fr/api/history/ranking?year={year}&stage={stage}&type=stage"
        response = requests.get(api_url)
        if response.status_code != 200:
            print(f"年份{year}赛段{stage}请求失败，跳过")
            continue
        
        data = response.json()
        # 解析JSON中的车手数据
        for rider in data['ranking']:
            row = {
                "年份": year,
                "赛段": stage,
                "排名": rider['rank'],
                "车手": rider['rider']['name'],
                "车手编号": rider['bib'],
                "车队": rider['team']['name'],
                "用时": rider['time'],
                "差距": rider['gap'],
                "冲刺积分（B）": rider.get('bonus', 0),
                "爬坡积分（P）": rider.get('points', 0)
            }
            all_data.append(row)

# 转换为DataFrame并保存
df = pd.DataFrame(all_data)
df.to_csv("环法历史赛段数据.csv", index=False, encoding='utf-8-sig')

方案2：使用Selenium模拟浏览器交互 #

如果API接口有反爬或难以定位，可使用Selenium模拟用户操作，加载页面后提取表格数据：

代码示例

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import pandas as pd
import time

# 初始化浏览器（需提前安装对应浏览器的驱动）
driver = webdriver.Chrome()
driver.get("https://www.letour.fr/en/history")
time.sleep(3)  # 等待页面加载完成

all_data = []

# 获取年份选择器并遍历所有年份
year_select = Select(driver.find_element(By.ID, "year"))
for year_option in year_select.options[1:]:  # 跳过默认提示选项
    year = year_option.text
    year_select.select_by_visible_text(year)
    time.sleep(2)
    
    # 获取赛段选择器并遍历所有赛段
    stage_select = Select(driver.find_element(By.ID, "stage"))
    for stage_option in stage_select.options[1:]:
        stage = stage_option.text
        stage_select.select_by_visible_text(stage)
        time.sleep(2)
        
        # 提取表格数据
        table = driver.find_element(By.CLASS_NAME, "rankingTable")
        rows = table.find_elements(By.TAG_NAME, "tr")[1:]  # 跳过表头行
        for row in rows:
            cols = row.find_elements(By.TAG_NAME, "td")
            if len(cols) < 10:
                continue
            row_data = {
                "年份": year,
                "赛段": stage,
                "排名": cols[0].text,
                "车手": cols[1].text,
                "车手编号": cols[2].text,
                "车队": cols[3].text,
                "用时": cols[4].text,
                "差距": cols[5].text,
                "冲刺积分（B）": cols[6].text,
                "爬坡积分（P）": cols[7].text
            }
            all_data.append(row_data)

# 关闭浏览器并保存数据
driver.quit()
df = pd.DataFrame(all_data)
df.to_csv("环法历史赛段数据_selenium版.csv", index=False, encoding='utf-8-sig')

注意事项 #

• API接口可能随站点更新变化，需定期通过浏览器网络请求确认最新格式；
• 大规模爬取时需添加请求间隔（如time.sleep(1)），避免触发反爬机制；
• 使用Selenium时，需确保浏览器驱动版本与浏览器版本匹配。

内容的提问来源于stack exchange，提问作者Will Donohue