使用Mechanicalsoup多页面/多表单导航遇阻求助

我能理解你在处理这个多步骤表单时的困惑——ASP.NET的页面经常依赖ViewState这类隐藏状态字段，很容易在跳转时丢失上下文。你的代码已经完成了第一步，问题大概率出在提交后的表单重新定位和状态管理上，下面给你具体的解决思路和修改后的代码：

关键问题分析 #

你当前的代码在第一次提交后，一直复用form2来选择后续的提交按钮，但每次表单提交后页面会刷新，form2已经不是当前页面的表单了，这会导致后续的提交操作无效。另外，ASP.NET页面的提交按钮需要正确关联当前表单的状态字段，直接复用旧表单对象会出问题。

解决方案步骤 #

1. 每次提交后重新获取当前表单 #

StatefulBrowser在提交表单后会自动更新当前页面，但你需要重新调用select_form()来获取新页面的表单对象，而不是复用之前的表单变量。

2. 分步验证每一步的页面状态 #

在每一次提交后，打印当前页面的标题或关键元素，确认你确实跳转到了预期的页面。比如用：

print(browser.get_current_page().title.string)

或者打印页面源码的前几百字符，检查是否在正确的步骤。

3. 可靠选择提交按钮 #

对于ASP.NET的按钮，有时候通过按钮的name属性选择提交比通过find后choose_submit更稳定，你可以查看页面源码里按钮的name值（比如BtnAllAcct的name可能也是BtnAllAcct），直接用browser.submit_selected(btn_name="BtnAllAcct")。

4. 确保ASP.NET状态字段被自动处理 #

MechanicalSoup默认会自动携带__VIEWSTATE、__EVENTVALIDATION这类隐藏字段，但如果遇到问题，可以手动检查这些字段是否存在于当前表单中：

form = browser.select_form()
print(form.get("__VIEWSTATE"))

修改后的完整代码 #

import mechanicalsoup

# 初始化带状态的浏览器
browser = mechanicalsoup.StatefulBrowser(
    soup_config={'features': 'html.parser'},
    raise_on_404=True
)

# 第一步：打开初始页面并填写第一个表单
browser.open("https://webapps2.ncua.gov/CustomQuery/CUSelect.aspx")
form = browser.select_form()

# 设置第一个表单的字段
browser["operand0"] = "State"
browser["operator0"] = "Not Equal"
browser["value0"] = "XX"

# 提交第一个表单
browser.submit_selected()
print("完成第一步提交，当前页面标题：", browser.get_current_page().title.string)

# 第二步：点击BtnAllAcct按钮
try:
    # 重新获取当前页面的表单
    form2 = browser.select_form()
    # 通过ID找到提交按钮
    submit_btn = browser.get_current_page().find('input', id='BtnAllAcct')
    form2.choose_submit(submit_btn)
    browser.submit_selected()
    print("完成第二步提交，当前页面标题：", browser.get_current_page().title.string)
except Exception as e:
    print(f"第二步出错：{e}")
    # 可选：打印当前页面源码排查问题
    # print(browser.get_current_page().prettify())

# 第三步：点击Btndata1按钮获取结果
try:
    form3 = browser.select_form()
    data_btn = browser.get_current_page().find('input', id='Btndata1')
    form3.choose_submit(data_btn)
    response = browser.submit_selected()
    
    # 这里开始处理结果页面
    results_page = browser.get_current_page()
    # 假设结果在某个表格里，替换成实际的表格ID或选择器
    result_table = results_page.find('table', {'class': 'some-result-table-class'})
    if result_table:
        print("成功抓取到结果表格，开始解析数据...")
        # 示例：遍历表格行
        for row in result_table.find_all('tr'):
            cols = row.find_all('td')
            if cols:
                print([col.text.strip() for col in cols])
    else:
        print("未找到结果表格，请检查页面结构")
except Exception as e:
    print(f"第三步出错：{e}")
    # print(browser.get_current_page().prettify())

# 关闭浏览器
browser.close()

关于API尝试的补充 #

这个NCUA的查询系统是基于ASP.NET的传统Web应用，大概率没有公开的REST API。如果要走API路线，你需要手动模拟每个步骤的表单提交，携带所有的__VIEWSTATE、__EVENTVALIDATION等隐藏字段，这比用MechanicalSoup模拟浏览器操作更繁琐，所以还是推荐继续用MechanicalSoup来处理。

内容的提问来源于stack exchange，提问作者David Galt