使用bs4抓取以色列药品政府网站时无法找到form元素如何解决?
问题原因
你要爬的站点是前端JS动态渲染的单页应用(SPA),初始返回的静态HTML里根本没有对应的form元素,所有页面内容都是JS加载完成后才动态生成的。BeautifulSoup只能解析初始加载的静态HTML代码,无法解析JS渲染出来的DOM节点,所以会出现找不到元素的问题。
解决方案
- 方案1:使用支持JS渲染的爬虫工具
直接替换纯requests+bs4的组合,改用Selenium、Playwright等可以模拟浏览器运行、支持JS渲染的工具,等页面完全加载完成后再提取元素,示例代码(以Selenium为例):
注:你可以直接在浏览器开发者工具的元素面板里右键对应节点,复制选择器填到上面的代码里。from selenium import webdriver from selenium.webdriver.common.by import By import time # 初始化浏览器 driver = webdriver.Chrome() driver.get("https://israeldrugs.health.gov.il/#!/byDrug") # 等待页面加载完成 time.sleep(3) # 定位输入框、输入搜索词 search_input = driver.find_element(By.CSS_SELECTOR, "你对应的输入框选择器") search_input.send_keys("要搜索的内容") # 定位提交按钮点击 submit_btn = driver.find_element(By.CSS_SELECTOR, "你对应的按钮选择器") submit_btn.click() # 等待结果加载后提取数据 time.sleep(3) print(driver.page_source) driver.quit() - 方案2:直接调用后端搜索接口(效率更高)
不需要模拟页面渲染,直接抓后端接口请求:- 打开浏览器开发者工具,切换到「网络」标签,过滤选择「XHR/ Fetch」
- 在页面手动输入一次搜索词提交,查看网络请求列表里的搜索请求
- 查看该请求的请求方法、请求头、请求参数,直接用
requests库构造对应请求即可拿到结构化的返回数据,比模拟浏览器效率高很多。
注意事项
- 构造请求时需要补齐
User-Agent等请求头,避免被站点反爬拦截 - 部分接口可能需要携带动态生成的cookie或者鉴权参数,可以从浏览器的请求里直接复制对应参数使用
- 控制请求频率,避免对站点服务造成影响
内容的提问来源于stack exchange,提问作者gtomer
相关产品推荐
相关产品推荐

