如何用Python的RoboBrowser获取动态表单的联动下拉选项？

这问题我之前处理类似表单时也碰到过——RoboBrowser是基于静态HTML解析的工具，不会自动执行页面中的JavaScript，也没法触发前端监听的change事件来加载联动选项，这就是你设置完国家值后，state选项还是空数组的核心原因。

要搞定这个，我们需要手动模拟前端的AJAX请求，去获取对应国家的州/地区数据，再手动更新表单的选项。具体步骤如下：

1. 找到加载联动选项的AJAX接口 #

首先打开浏览器的开发者工具（按F12），切换到「Network」标签页，然后在页面上手动选择一个国家，观察新出现的XHR请求——这个请求就是页面用来获取对应州数据的接口。

你需要记下：

• 请求的URL（比如可能是http://www.kidzee.com/ajax/get_states.php）
• 请求方式（GET或POST）
• 携带的参数（比如country_id=1，对应你选的国家值）
• 返回的数据格式（是HTML片段、JSON还是XML）

2. 用RoboBrowser的会话发送AJAX请求 #

RoboBrowser的session属性继承自requests.Session，已经保存了页面的Cookie和会话信息，直接用它来发送请求即可。

3. 解析响应并更新表单选项 #

根据返回的数据格式，解析出州的选项值，然后手动更新form['state']的选项列表。

完整代码示例（假设返回HTML片段） #

import re
from robobrowser import RoboBrowser

# 初始化浏览器并打开目标页面
browser = RoboBrowser()
browser.open('http://www.kidzee.com/admissions-at-kidzee/')
form = browser.get_form()

# 设置国家值为印度（对应value=1）
form['country'].value = '1'

# 模拟AJAX请求获取州数据（URL和参数请根据实际抓包结果调整！）
states_response = browser.session.get(
    'http://www.kidzee.com/ajax/get_states.php',
    params={'country_id': form['country'].value}
)

# 解析返回的HTML片段，提取<option>标签
states_soup = browser.parser.feed(states_response.text)
state_options = states_soup.find_all('option')

# 更新表单的state选项
form['state'].options.clear()
for opt in state_options:
    # 添加选项的value值
    form['state'].options.append(opt.get('value'))

# 现在查看state选项就能看到对应的数据了
print(form['state'].options)

如果返回的是JSON格式 #

如果AJAX接口返回的是JSON数组（比如[{"value":"1","text":"Delhi"},...]），可以这样解析：

# 解析JSON数据
states_data = states_response.json()

# 更新state选项
form['state'].options.clear()
for state in states_data:
    form['state'].options.append(state['value'])

后续联动的城市/地点处理 #

处理城市和地点的逻辑和上面完全一致：

1. 设置state的value后，抓包找到加载城市的AJAX接口
2. 发送请求获取城市数据，更新form['city']的选项
3. 重复上述步骤处理location选项

注意：网站的AJAX接口可能会随时间变化，一定要自己通过浏览器抓包确认最新的请求信息，不要直接照搬示例中的URL和参数。

内容的提问来源于stack exchange，提问作者Vizag