如何使用Python Mechanize填写需JavaScript支持的Web表单？

问题背景 #

我尝试用mechanize填写网页表单，但目标网站要求必须启用JavaScript——每次访问都会跳转到提示“需要JavaScript”的错误页面。同时用BeautifulSoup抓取页面时也遇到同样问题，禁用浏览器JS后看到的内容就是BeautifulSoup返回的结果。

以下是我用到的代码：

Mechanize代码

import mechanize
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
br = mechanize.Browser()
br.set_handle_robots(False)
br.open("https://192.168.10.3/connect/PortalMain")
for f in br.forms():
    print f

BeautifulSoup代码

import ssl
import urllib2
from bs4 import BeautifulSoup
ssl._create_default_https_context = ssl._create_unverified_context
page = urllib2.urlopen("https://192.168.10.3/connect/PortalMain")
soup = BeautifulSoup(page,'html.parser')
print soup

解决方案 #

首先得明确一点：Mechanize和BeautifulSoup本身都不支持JavaScript执行。Mechanize只是模拟HTTP请求的工具，只能处理静态HTML和表单，没法解析、运行页面里的JS逻辑；BeautifulSoup则是纯HTML解析器，只负责处理返回的文本内容，完全不涉及JS渲染。这就是为什么你会看到跳转到JS错误页面的原因——网站检测到请求没有来自支持JS的浏览器，直接重定向了。

要处理这类依赖JS的页面，最可靠的方法是使用能控制真实浏览器的工具，下面推荐两个常用方案：

方案1：使用Selenium

Selenium可以调用真实的Chrome、Firefox等浏览器，完整执行页面的JS代码，完全模拟用户的浏览行为。示例代码如下：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

# 配置Chrome选项（可设置为无头模式，不显示浏览器窗口）
chrome_options = Options()
chrome_options.add_argument('--headless=new')
chrome_options.add_argument('--ignore-certificate-errors')  # 忽略SSL证书错误

# 初始化浏览器驱动
driver = webdriver.Chrome(options=chrome_options)

try:
    # 访问目标页面
    driver.get("https://192.168.10.3/connect/PortalMain")
    
    # 模拟表单操作示例：填写用户名
    # driver.find_element(By.ID, "username").send_keys("your_username")
    
    # 获取渲染后的页面源码
    page_source = driver.page_source
    
    # 结合BeautifulSoup解析页面
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(page_source, 'html.parser')
    print(soup)
finally:
    # 关闭浏览器
    driver.quit()

方案2：使用Playwright

Playwright是微软推出的自动化测试工具，支持Chrome、Firefox、Safari等多种浏览器，API设计更简洁，稳定性也不错。示例代码：

from playwright.sync_api import sync_playwright
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

with sync_playwright() as p:
    # 启动无头Chrome浏览器，忽略HTTPS错误
    browser = p.chromium.launch(headless=True, ignore_https_errors=True)
    page = browser.new_page()
    
    # 访问目标页面
    page.goto("https://192.168.10.3/connect/PortalMain")
    
    # 获取渲染后的页面源码
    page_source = page.content()
    
    # 用BeautifulSoup解析页面
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(page_source, 'html.parser')
    print(soup)
    
    # 关闭浏览器
    browser.close()

补充说明 #

如果只是简单的JS检测（比如检查请求头里的User-Agent），你可以尝试给Mechanize或urllib2设置一个真实浏览器的User-Agent，比如：

# 给Mechanize设置User-Agent
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')]

但这种方法不稳定，因为很多网站会用更复杂的JS检测逻辑（比如检查window对象、执行JS脚本验证），这种情况下还是用真实浏览器驱动的工具更靠谱。

内容的提问来源于stack exchange，提问作者Parth Manaktala