Python爬取Karandaaz数据集站点时find_all返回None值技术咨询
核心问题原因拆解
当前代码匹配不到ag-header-cell-text类元素、返回空结果的核心原因有两点:
requests仅能获取服务端返回的初始静态HTML,本身不执行页面内嵌的JavaScript脚本。目标站点的人口表格基于ag-Grid前端网格组件开发,所有带ag-header-cell-text类的表头、表格行内容,都是页面加载完成后由JS动态拉取数据、渲染生成的,初始返回的HTML中根本不存在这些元素,自然无法通过BeautifulSoup完成匹配。- 部分场景下站点的WAF会拦截默认携带
python-requests标识的裸请求,直接返回空页面、人机验证拦截页,这种情况下哪怕目标元素真实存在,拿到的页面内容本身就是无效的,同样会出现匹配为空的结果。
可落地的爬取解决方案
- 优先校验基础请求有效性
代码中增加状态码、页面长度的打印逻辑,确认请求没有被拦截:print(r.status_code, len(r.text))
如果返回状态码不是200,或者页面长度远低于浏览器打开时的初始HTML长度,就需要给请求补全和浏览器一致的请求头,避免被识别为爬虫。示例请求头配置:headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language": "en-US,en;q=0.9" } r = requests.get('https://portal.karandaaz.com.pk/dataset/total-population/1000', headers=headers) - 优先定位站点背后的数据接口,避免硬解析DOM
打开浏览器开发者工具的网络面板,筛选XHR/Fetch类请求,刷新页面找到返回人口数据集结构化数据的接口。这类ag-Grid驱动的站点几乎不会把数据直接嵌入初始HTML,都是通过独立接口返回JSON格式的原始数据。找到接口的请求路径、参数、必要的鉴权头之后,直接用requests请求该接口解析JSON即可,这种方式爬取效率远高于DOM解析,稳定性也更强。 - 若无法定位接口,使用可执行JS的渲染工具完成爬取
可以用Playwright、Selenium这类内置浏览器内核的工具,模拟真实浏览器加载页面,等目标元素渲染完成后再提取内容。示例Playwright核心代码:
需要注意ag-Grid的虚拟滚动机制:组件为了降低内存占用,仅会渲染当前可视区域内的表格行元素,可视区域外的内容不会生成对应的DOM。爬取时需要通过代码循环触发表格滚动条滑动,等所有行的DOM都被渲染出来之后再统一提取,否则会出现数据缺失。from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto('https://portal.karandaaz.com.pk/dataset/total-population/1000') # 显式等待目标表头元素加载完成,避免提前提取拿到空值 page.wait_for_selector('.ag-header-cell-text') # 提取所有表头内容 header_list = page.locator('.ag-header-cell-text').all_text_contents() browser.close()
内容的提问来源于stack exchange,提问作者Sajjad Ali
相关产品推荐
相关产品推荐

