同名span导致爬取空数据?如何获取OnlyFans指定页点赞、发帖数并导入Google Sheets
问题解决方法
类名重复导致爬取空值是前端开发普遍使用模板复用带来的典型问题,结合你想爬取站点数据同步Google Sheets的需求,可按以下步骤操作
爬取环节的问题修复
- 不要直接通过span类名定位目标元素。所有重名的span仅用于统一样式渲染,本身不承担数据标识作用,需要向上追溯父级容器的定位锚点:重点查找带
data-*自定义属性的独立统计块,这类属性一般是前端用来区分不同统计指标的,锁定对应属性的父容器后,再提取容器内部的文本内容,就不会出现元素错配、抓取空值的问题。 - 优先排查是否为动态渲染导致的空值。这类站点的核心统计数据不会写在初始静态HTML源码中,是完成登录态校验后,通过异步接口拉取数据再渲染到页面上的,静态爬虫直接拿到的源码不包含渲染后的节点,自然返回空值。最稳定的实现方式是绕过DOM爬取:打开浏览器开发者工具的网络面板,筛选异步请求,找到返回主页统计数据的接口,直接请求接口获取JSON格式的结构化数据,这种方式不受前端DOM结构调整影响,稳定性远高于爬取页面元素。
- 补充必要的请求校验参数。这类站点有严格的权限校验机制,请求时需要带上你本人具备合法访问权限对应的Cookie、与浏览器一致的
User-Agent、常规反爬校验请求头,否则获取到的都是未登录状态的空页面,无法定位到目标数据。
数据导入Google Sheets的实现
- 如果你已经定位到可稳定访问的目标数据接口,可以在Google Sheets内置的
Apps Script中编写简单的JSON解析函数,设置定时触发机制自动拉取接口字段,同步填入对应单元格即可。 - 如果你是通过本地脚本完成爬取,可以对接
Google Sheets API,编写简易上传逻辑,将抓取到的点赞数、发帖数批量写入表格,无需手动操作。
注意:所有爬取操作需严格遵守目标站点的服务条款与robots协议,仅可抓取你拥有合法访问权限的公开数据,违规获取无权限内容会违反平台规则及相关法规。
内容的提问来源于stack exchange,提问作者B Project
相关产品推荐
相关产品推荐

