遍历动态HTML表格下拉菜单的网页数据爬取求助

方案一：模拟前端交互（适合无API基础的情况） #

既然你已经拿到了Subject Areas的选项列表，别死磕UI selector，换思路用模拟点击/下拉选择：

• 遍历你提取的每个学科领域选项：
  1. 定位到Subject Areas下拉框，触发展开操作（比如用click()方法，或对应工具里的「点击下拉框」动作）
  2. 通过选项的文本内容匹配定位当前遍历的学科选项，直接点击（别硬套固定selector）
  3. 等待表格加载完成（必须加等待，比如等2-3秒，或等表格内特定元素出现）
  4. 提取当前表格的所有数据（RPA工具直接用「提取表格数据」动作；代码层面用BeautifulSoup或Pandas读取）

方案二：抓接口直接拿数据（效率更高） #

动态页面的表格数据基本通过API请求获取，不用跟UI较劲：

• 打开浏览器开发者工具（F12），切换到Network标签
• 手动选择一个学科领域，观察Network里的XHR/fetch请求，找到返回表格数据的接口
• 查看请求参数，会发现其中包含对应学科领域的标识（比如subject=xxx）
• 用你之前提取的主题列表替换该参数值，批量发送请求即可直接拿到JSON/CSV格式的原始数据

注意事项 #

• 若使用RPA工具（如UiPath、Automation Anywhere），改用动态selector+文本匹配，把selector里的固定文本替换成遍历变量
• 必须加等待机制，避免表格未加载完成就提取，导致拿到空数据或旧数据

内容的提问来源于stack exchange，提问作者Chris H