You need to enable JavaScript to run this app. 如何将Python Selenium提取的网页表格内容转换为DataFrame并导出CSV
优惠活动
大模型
产品
解决方案
定价
更多

如何将Python Selenium提取的网页表格内容转换为DataFrame并导出CSV

实现步骤

先修正原有代码的基础问题

  • 补充缺失的import time语句,否则调用sleep方法会直接触发报错
  • 原逻辑里抓取整段tbody文本的方式没有列边界,无法拆分出独立字段,必须逐行逐单元格提取结构化文本
  • 原翻页判断逻辑冗余:不需要模拟点击已经处于disabled状态的下一页按钮,只要捕获到下一页按钮不可点击的状态,就可以直接退出循环
  • 旧版find_element_by_xpath方法已在Selenium4+版本弃用,统一替换为新版本的定位写法

核心实现逻辑

  1. 首次加载页面时先提取表格列头,存入列表作为DataFrame的列名
  2. 逐页遍历表格内容:每一页加载完成后,遍历表格tbody下的所有行,对每一行遍历所有单元格,把单元格文本去空后存入全局的二维列表
  3. 每一页数据提取完成后,尝试点击下一页按钮;如果等待超时说明下一页按钮已不可点击,就是最后一页,直接退出循环
  4. 把全局二维列表传入Pandas生成DataFrame,调用to_csv方法导出文件即可

可直接运行的完整代码

import time
import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 替换为本地实际的ChromeDriver路径
driver = webdriver.Chrome(executable_path="Path")
driver.get("https://www.bcsc.bc.ca/enforcement/early-intervention/investment-caution-list")

# 存储所有页面的表格行数据
all_rows = []
# 提取表格列头
header_cells = driver.find_elements(By.XPATH, '//table[@id="inlineSearchTable"]/thead/tr/th')
col_names = [cell.text.strip() for cell in header_cells]

while True:
    # 等待当前页表格行加载完成
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//table[@id="inlineSearchTable"]/tbody/tr'))
    )
    # 逐行提取当前页内容
    current_rows = driver.find_elements(By.XPATH, '//table[@id="inlineSearchTable"]/tbody/tr')
    for row in current_rows:
        cells = row.find_elements(By.TAG_NAME, 'td')
        row_data = [cell.text.strip() for cell in cells]
        all_rows.append(row_data)
    
    # 尝试翻页
    try:
        next_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, "//a[@class='paginate_button next']"))
        )
        next_btn.click()
        time.sleep(1)
    except TimeoutException:
        # 下一页按钮不可点击,已到达最后一页
        break

driver.quit()

# 生成DataFrame并导出CSV
df = pd.DataFrame(all_rows, columns=col_names)
df.to_csv("bcsc_caution_list.csv", index=False, encoding="utf-8-sig")

注意事项

  • 不要直接使用table.text作为转换源:该方法返回的是整段表格的无结构长文本,没有列分隔标记,无法生成规整的DataFrame
  • 导出CSV时使用utf-8-sig编码,可避免Excel打开文件时出现乱码
  • 列头只需要在首次页面加载时提取一次,分页操作不会改变表格的表头结构

内容的提问来源于stack exchange,提问作者Jia Hao Lai

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 01:24:04