You need to enable JavaScript to run this app. 使用bs4抓取以色列药品政府网站时无法找到form元素如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

使用bs4抓取以色列药品政府网站时无法找到form元素如何解决?

问题原因

你要爬的站点是前端JS动态渲染的单页应用(SPA),初始返回的静态HTML里根本没有对应的form元素,所有页面内容都是JS加载完成后才动态生成的。BeautifulSoup只能解析初始加载的静态HTML代码,无法解析JS渲染出来的DOM节点,所以会出现找不到元素的问题。

解决方案
  • 方案1:使用支持JS渲染的爬虫工具
    直接替换纯requests+bs4的组合,改用Selenium、Playwright等可以模拟浏览器运行、支持JS渲染的工具,等页面完全加载完成后再提取元素,示例代码(以Selenium为例):
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    import time
    
    # 初始化浏览器
    driver = webdriver.Chrome()
    driver.get("https://israeldrugs.health.gov.il/#!/byDrug")
    # 等待页面加载完成
    time.sleep(3)
    
    # 定位输入框、输入搜索词
    search_input = driver.find_element(By.CSS_SELECTOR, "你对应的输入框选择器")
    search_input.send_keys("要搜索的内容")
    
    # 定位提交按钮点击
    submit_btn = driver.find_element(By.CSS_SELECTOR, "你对应的按钮选择器")
    submit_btn.click()
    
    # 等待结果加载后提取数据
    time.sleep(3)
    print(driver.page_source)
    driver.quit()
    
    注:你可以直接在浏览器开发者工具的元素面板里右键对应节点,复制选择器填到上面的代码里。
  • 方案2:直接调用后端搜索接口(效率更高)
    不需要模拟页面渲染,直接抓后端接口请求:
    1. 打开浏览器开发者工具,切换到「网络」标签,过滤选择「XHR/ Fetch」
    2. 在页面手动输入一次搜索词提交,查看网络请求列表里的搜索请求
    3. 查看该请求的请求方法、请求头、请求参数,直接用requests库构造对应请求即可拿到结构化的返回数据,比模拟浏览器效率高很多。
注意事项
  • 构造请求时需要补齐User-Agent等请求头,避免被站点反爬拦截
  • 部分接口可能需要携带动态生成的cookie或者鉴权参数,可以从浏览器的请求里直接复制对应参数使用
  • 控制请求频率,避免对站点服务造成影响

内容的提问来源于stack exchange,提问作者gtomer

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 03:00:04