使用Python的BeautifulSoup按ID抓取表格时遇AttributeError问题求助

Hey there, let's figure out what's going on here and get your scraper working!

问题根源 #

你遇到的AttributeError是因为你直接请求的是初始页面，而目标表格ctl00_mainContent_DataList1只有在提交搜索表单（选择Burnaby并点击搜索）后才会加载出来。用urlopen直接访问页面时，服务器返回的是未提交搜索的初始HTML，里面根本没有这个表格，所以soup.find()返回None，调用findAll()自然就报错了。

解决方案：模拟表单提交 #

要获取到带表格的页面，你需要模拟浏览器提交搜索表单的行为。这里推荐用requests库（比urllib更简洁好用）来处理POST请求，步骤如下：

1. 安装必要的库（如果还没装） #

pip install requests beautifulsoup4

2. 完整代码示例 #

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://www.bcdental.org/yourdentalhealth/findadentist.aspx'

# 第一步：先请求初始页面，获取ASP.NET表单需要的ViewState等必备参数
session = requests.Session()  # 用Session保持会话，自动处理Cookie
initial_response = session.get(url)
initial_soup = BeautifulSoup(initial_response.text, 'html.parser')

# 提取ASP.NET页面必填的表单验证参数
viewstate = initial_soup.find('input', id='__VIEWSTATE')['value']
viewstate_generator = initial_soup.find('input', id='__VIEWSTATEGENERATOR')['value']
event_validation = initial_soup.find('input', id='__EVENTVALIDATION')['value']

# 构造POST请求的表单数据（对应选择Burnaby并点击搜索的操作）
form_data = {
    '__VIEWSTATE': viewstate,
    '__VIEWSTATEGENERATOR': viewstate_generator,
    '__EVENTVALIDATION': event_validation,
    'ctl00$mainContent$ddlCity': 'Burnaby',  # 对应城市下拉框的选项值
    'ctl00$mainContent$btnSearch': 'Search'  # 搜索按钮的name属性值
}

# 第二步：提交POST请求，获取搜索后的页面
search_response = session.post(url, data=form_data)
search_soup = BeautifulSoup(search_response.text, 'html.parser')

# 现在就能找到目标表格了
table = search_soup.find('table', id="ctl00_mainContent_DataList1")
if table:
    rows = table.findAll('tr')
    # 示例：遍历行提取数据
    for row in rows:
        cells = row.findAll('td')
        if cells:
            print([cell.get_text(strip=True) for cell in cells])
else:
    print("表格未找到，可能是表单参数有误，请检查字段名或选项值")

3. 关键注意点 #

• ASP.NET表单参数：__VIEWSTATE、__VIEWSTATEGENERATOR这些是ASP.NET页面的验证字段，每次请求初始页面都会生成新值，必须实时提取，不能硬编码。
• 表单字段匹配：ctl00$mainContent$ddlCity的取值（比如这里的Burnaby）要和页面下拉框的选项值完全一致，你可以通过查看初始页面源码确认。
• 会话一致性：用requests.Session()能自动维护Cookie，避免服务器因为会话不一致拒绝请求。
• 解析器优化：如果觉得html.parser速度慢，可以安装lxml库，将解析器改为'lxml'，提升解析效率。

内容的提问来源于stack exchange，提问作者eh2699