如何使用Python requests_html执行页面JS函数模拟按钮点击

直接向url2发POST返回500，核心原因是请求缺失了站点的动态校验参数。这类绑定JS函数的按钮，触发请求时会自动带上首次访问页面时服务端下发的临时Cookie、CSRF Token、请求签名等校验信息，你仅手动抓取了接口地址，没有补全这些运行时动态生成的参数，服务端校验不通过就会返回500，和接口本身可用性无关。

不需要强行执行JS，先把浏览器真实请求的所有细节对齐即可：

• 打开浏览器开发者工具-网络面板，勾选「保留日志」，清空现有请求记录
• 手动点击一次Register Interest按钮，找到发往url2的目标请求
• 逐字段对比代码请求和浏览器真实请求的差异，补全缺失内容：
  • Cookie字段：确认首次访问url时服务端通过Set-Cookie下发的所有值（包括HttpOnly属性的Cookie）都被会话对象自动携带
  • 请求头字段：确认是否携带Referer（值为首次访问的页面地址url）、X-Requested-With: XMLHttpRequest、X-CSRFToken这类站点自定义校验头
  • 请求体字段：确认registerInterest传入的三个参数格式符合接口要求，没有遗漏页面嵌入的动态校验值（这类值一般存放在页面隐藏input标签、或window全局变量中，首次请求页面后用解析库提取即可）
• 补全所有差异参数后再发POST请求，绝大多数场景无需运行JS即可正常调用。

requests_html内置Pyppeteer无头浏览器内核，支持直接执行页面内挂载的JS函数，正确用法如下：

from requests_html import HTMLSession

session = HTMLSession()
# 先访问按钮所在页面，和浏览器访问行为对齐
r = session.get(url)
# 渲染页面，启动无头Chrome加载所有页面资源、执行初始JS
# 首次运行会自动下载匹配版本的Chromium，等待执行完成即可
r.html.render(timeout=20)
# 直接在页面上下文调用目标JS函数，所有动态参数、Cookie、请求头都会由浏览器自动携带，和手动点击按钮效果完全一致
exec_result = r.html.eval_js("registerInterest(72833,959320000, '')")
print(exec_result)

注意事项：

• 不需要手动构造POST请求打url2，直接调用页面上的JS函数即可，自动绕过所有前端校验逻辑
• Linux环境运行如果报依赖缺失，先安装系统依赖：apt install -y libnss3 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxi6 libxtst6 libcups2 libxss1 libxrandr2 libasound2 libpangocairo-1.0-0 libatk1.0-0 libatk-bridge2.0-0 libgtk-3-0

如果认为Selenium维护成本高，可以选择Playwright，它会自动匹配浏览器版本、无需手动下载驱动，模拟点击的实现非常简洁：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动无头Chrome
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    # 访问目标页面
    page.goto(url)
    # 直接定位Register Interest按钮点击，完全模拟真人操作
    page.get_by_role("button", name="Register Interest").click()
    # 等待接口请求完成即可
    page.wait_for_response(url2)
    browser.close()

无头浏览器方案性能远低于直接发请求，仅当站点前端校验逻辑极复杂、逆向参数成本过高时再选用。

内容的提问来源于stack exchange，提问作者Omaro_IB