如何用Python爬取需点击按钮才显示的网页隐藏数据

要爬取所有需要点击按钮才显示的表格，核心思路是遍历所有切换按钮→逐个点击→等待表格加载→提取数据，以下是具体实现方案：

关键步骤与代码示例 #

1. 定位切换按钮并初始化环境 #

先用浏览器开发者工具（F12）确认切换按钮的统一特征（比如共同的class、标签），再用Selenium等待所有按钮加载完成。

2. 循环处理每个表格 #

对每个按钮执行点击操作，等待对应表格加载可见后提取数据，最后汇总所有表格内容：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import random
import time

# 初始化Chrome浏览器（确保chromedriver路径配置正确）
driver = webdriver.Chrome()
driver.get("你的目标网页地址")

all_table_data = []

try:
    # 等待所有切换按钮加载完成，替换为实际的按钮定位符
    tab_buttons = WebDriverWait(driver, 15).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".tab-switch-btn"))
    )

    for btn_index, button in enumerate(tab_buttons):
        # 处理按钮点击（避免元素遮挡导致点击失败）
        try:
            button.click()
        except Exception:
            # 用JavaScript强制触发点击
            driver.execute_script("arguments[0].click();", button)
        
        # 等待对应表格加载可见，替换为实际的表格定位符
        target_table = WebDriverWait(driver, 10).until(
            EC.visibility_of_element_located((By.CSS_SELECTOR, f".table-container:nth-child({btn_index+1}) table"))
        )

        # 提取表格数据
        table_rows = target_table.find_elements(By.TAG_NAME, "tr")
        current_table = []
        for row in table_rows:
            # 提取每行单元格文本
            row_cells = [cell.text.strip() for cell in row.find_elements(By.TAG_NAME, "td")]
            if row_cells:  # 过滤空行
                current_table.append(row_cells)
        
        all_table_data.append({f"表格{btn_index+1}": current_table})
        
        # 模拟人类操作间隔，避免触发反爬
        time.sleep(random.uniform(1, 3))

finally:
    # 关闭浏览器
    driver.quit()

# 输出所有爬取到的表格数据
for table in all_table_data:
    print(table)

注意事项 #

• 定位符适配：必须根据目标网页的实际HTML结构，修改按钮和表格的CSS选择器/XPath。比如按钮可能是<a>标签，表格可能用active类标识当前显示状态。
• 等待策略：优先使用WebDriverWait等待元素可见，不要依赖固定时长的time.sleep()，避免网络波动导致数据提取失败。
• 反爬处理：如果网站有反爬机制，可增加随机延时、模拟滚动操作，或使用代理IP。
• 异常处理：给点击、等待操作添加异常捕获，避免单个表格处理失败导致整个程序崩溃。

内容的提问来源于stack exchange，提问作者Jaafar Yassine