查找新加坡气象局热应力页面WBGT数据来源的技术求助
新加坡气象局热应力页面WBGT数据爬取排查方案
- 先查静态HTML:很多网站会把实时数据直接渲染在页面源码里,而非通过异步请求加载。右键页面选「查看页面源代码」,用Ctrl+F搜索
WBGT或对应数值,说不定数据已经直接写在DOM结构里了。 - 排查非XHR/Fetch请求:别只盯着Fetch/XHR,看看浏览器开发者工具Network面板里的WS(WebSocket)标签——这类实时更新的数据常通过WebSocket推送;另外也检查下Document类型的请求,有些数据会打包在初始加载的页面文档里。
- 找内嵌脚本里的全局变量:部分网站会把数据存在页面的
<script>标签里,比如以JSON格式挂在全局变量上。去Sources标签里浏览页面脚本,或者直接在Console里试下访问类似window.heatStressData这类可能的全局变量,说不定能挖到数据。 - 检查请求完整性:如果确实有异步请求只返回"ok",大概率是请求参数不对——比如漏带了
Referer、User-Agent这类请求头,或者请求的URL路径有误。仔细排查Network面板里所有请求(包括POST类型),看看有没有返回有效数据的请求。
内容的提问来源于stack exchange,提问作者bitterjam
相关产品推荐
相关产品推荐

