如何将Python Selenium提取的网页表格内容转换为DataFrame并导出CSV
实现步骤
先修正原有代码的基础问题
- 补充缺失的
import time语句,否则调用sleep方法会直接触发报错 - 原逻辑里抓取整段tbody文本的方式没有列边界,无法拆分出独立字段,必须逐行逐单元格提取结构化文本
- 原翻页判断逻辑冗余:不需要模拟点击已经处于disabled状态的下一页按钮,只要捕获到下一页按钮不可点击的状态,就可以直接退出循环
- 旧版
find_element_by_xpath方法已在Selenium4+版本弃用,统一替换为新版本的定位写法
核心实现逻辑
- 首次加载页面时先提取表格列头,存入列表作为DataFrame的列名
- 逐页遍历表格内容:每一页加载完成后,遍历表格tbody下的所有行,对每一行遍历所有单元格,把单元格文本去空后存入全局的二维列表
- 每一页数据提取完成后,尝试点击下一页按钮;如果等待超时说明下一页按钮已不可点击,就是最后一页,直接退出循环
- 把全局二维列表传入Pandas生成DataFrame,调用
to_csv方法导出文件即可
可直接运行的完整代码
import time import pandas as pd from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.common.exceptions import TimeoutException from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 替换为本地实际的ChromeDriver路径 driver = webdriver.Chrome(executable_path="Path") driver.get("https://www.bcsc.bc.ca/enforcement/early-intervention/investment-caution-list") # 存储所有页面的表格行数据 all_rows = [] # 提取表格列头 header_cells = driver.find_elements(By.XPATH, '//table[@id="inlineSearchTable"]/thead/tr/th') col_names = [cell.text.strip() for cell in header_cells] while True: # 等待当前页表格行加载完成 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, '//table[@id="inlineSearchTable"]/tbody/tr')) ) # 逐行提取当前页内容 current_rows = driver.find_elements(By.XPATH, '//table[@id="inlineSearchTable"]/tbody/tr') for row in current_rows: cells = row.find_elements(By.TAG_NAME, 'td') row_data = [cell.text.strip() for cell in cells] all_rows.append(row_data) # 尝试翻页 try: next_btn = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.XPATH, "//a[@class='paginate_button next']")) ) next_btn.click() time.sleep(1) except TimeoutException: # 下一页按钮不可点击,已到达最后一页 break driver.quit() # 生成DataFrame并导出CSV df = pd.DataFrame(all_rows, columns=col_names) df.to_csv("bcsc_caution_list.csv", index=False, encoding="utf-8-sig")
注意事项
- 不要直接使用
table.text作为转换源:该方法返回的是整段表格的无结构长文本,没有列分隔标记,无法生成规整的DataFrame - 导出CSV时使用
utf-8-sig编码,可避免Excel打开文件时出现乱码 - 列头只需要在首次页面加载时提取一次,分页操作不会改变表格的表头结构
内容的提问来源于stack exchange,提问作者Jia Hao Lai
相关产品推荐
相关产品推荐

