Python实现HTML表格转CSV遇阻：无法提取网页表格怎么办？

你的核心问题是BeautifulSoup的查找语法错误，导致无法匹配到目标表格，以下是具体修正方案：

1. 修正find_all的调用语法 #

你当前的代码：

table = soup.findAll("table class", {"class": "table hover"})

存在两个错误：

• 第一个参数应该是HTML标签名"table"，而非"table class"
• 多类名的匹配写法需要调整

正确写法有三种，任选其一即可：

写法一：使用class_参数 #

table = soup.find_all("table", class_="table hover")

写法二：使用属性字典 #

table = soup.find_all("table", {"class": "table hover"})

写法三：使用CSS选择器（推荐，更直观） #

table = soup.select("table.table.hover")

2. 额外排查点 #

如果修正语法后仍无法获取表格，需要确认以下内容：

• 登录是否真的成功：虽然请求返回200，但可能表单参数缺失（比如CSRF令牌），导致实际未登录，返回的页面是未授权状态的内容。可以打印soup的内容，检查是否包含目标表格的HTML代码。
• 表格是否为动态加载：如果表格是通过JavaScript动态渲染的，requests无法获取到动态生成的内容，此时需要改用selenium等工具模拟浏览器加载页面。

修正后的完整脚本示例 #

import requests
from bs4 import BeautifulSoup
import pandas as pd

login_url = 'myurl'
data = {
    '_username': 'myusername',
    '_password': 'mypassvord'
}

with requests.Session() as s:
    response = s.post(login_url, data)
    index_page = s.get('myurl/link')
    soup = BeautifulSoup(index_page.content, "html.parser")
    
    # 修正表格查找语法
    tables = soup.select("table.table.hover")
    
    if tables:
        # 将第一个表格转换为CSV
        df = pd.read_html(str(tables[0]))[0]
        df.to_csv('output.csv', index=False)
        print("表格已成功导出为CSV")
    else:
        print("未找到目标表格，请检查登录状态或页面结构")

内容的提问来源于stack exchange，提问作者Marek