You need to enable JavaScript to run this app. Python爬取Karandaaz数据集站点时find_all返回None值技术咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取Karandaaz数据集站点时find_all返回None值技术咨询

核心问题原因拆解

当前代码匹配不到ag-header-cell-text类元素、返回空结果的核心原因有两点:

  • requests仅能获取服务端返回的初始静态HTML,本身不执行页面内嵌的JavaScript脚本。目标站点的人口表格基于ag-Grid前端网格组件开发,所有带ag-header-cell-text类的表头、表格行内容,都是页面加载完成后由JS动态拉取数据、渲染生成的,初始返回的HTML中根本不存在这些元素,自然无法通过BeautifulSoup完成匹配。
  • 部分场景下站点的WAF会拦截默认携带python-requests标识的裸请求,直接返回空页面、人机验证拦截页,这种情况下哪怕目标元素真实存在,拿到的页面内容本身就是无效的,同样会出现匹配为空的结果。
可落地的爬取解决方案
  • 优先校验基础请求有效性
    代码中增加状态码、页面长度的打印逻辑,确认请求没有被拦截:
    print(r.status_code, len(r.text))
    如果返回状态码不是200,或者页面长度远低于浏览器打开时的初始HTML长度,就需要给请求补全和浏览器一致的请求头,避免被识别为爬虫。示例请求头配置:
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9"
    }
    r = requests.get('https://portal.karandaaz.com.pk/dataset/total-population/1000', headers=headers)
    
  • 优先定位站点背后的数据接口,避免硬解析DOM
    打开浏览器开发者工具的网络面板,筛选XHR/Fetch类请求,刷新页面找到返回人口数据集结构化数据的接口。这类ag-Grid驱动的站点几乎不会把数据直接嵌入初始HTML,都是通过独立接口返回JSON格式的原始数据。找到接口的请求路径、参数、必要的鉴权头之后,直接用requests请求该接口解析JSON即可,这种方式爬取效率远高于DOM解析,稳定性也更强。
  • 若无法定位接口,使用可执行JS的渲染工具完成爬取
    可以用Playwright、Selenium这类内置浏览器内核的工具,模拟真实浏览器加载页面,等目标元素渲染完成后再提取内容。示例Playwright核心代码:
    from playwright.sync_api import sync_playwright
    
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto('https://portal.karandaaz.com.pk/dataset/total-population/1000')
        # 显式等待目标表头元素加载完成,避免提前提取拿到空值
        page.wait_for_selector('.ag-header-cell-text')
        # 提取所有表头内容
        header_list = page.locator('.ag-header-cell-text').all_text_contents()
        browser.close()
    
    需要注意ag-Grid的虚拟滚动机制:组件为了降低内存占用,仅会渲染当前可视区域内的表格行元素,可视区域外的内容不会生成对应的DOM。爬取时需要通过代码循环触发表格滚动条滑动,等所有行的DOM都被渲染出来之后再统一提取,否则会出现数据缺失。

内容的提问来源于stack exchange,提问作者Sajjad Ali

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 12:27:03