Python3.7下BeautifulSoup爬取KuCoin页面无法定位CSS类的问题求助
问题根因
直接用requests/urllib3请求页面拿到的初始HTML中,不存在mainTitle___mbpq1类对应的DOM节点,查找返回None是必然结果:
- 目标页面是React框架实现的客户端渲染应用,服务端返回的初始HTML仅包含空的前端挂载容器,无任何公告业务内容
- 你猜测的JSON嵌入思路方向正确,但公告数据并非随初始HTML嵌在script标签中返回,而是页面加载后,前端JS主动调用后端结构化接口拉取数据,动态拼接生成DOM后才会展示在页面上
- 带
___+随机字符后缀的类名,是前端CSS Modules方案生成的动态类名,只有JS完成渲染流程后才会出现在DOM结构中,静态抓取初始HTML自然无法匹配到目标节点
无Selenium的可行方案
不需要启动浏览器渲染,直接对接后端JSON接口即可实现高效抓取,效率比Selenium高一个数量级:
- 打开浏览器开发者工具,切换到网络面板,筛选XHR/Fetch类型请求,刷新公告列表页即可定位到返回公告列表数据的接口。接口返回的JSON结构中直接包含所有公告的标题、发布时间、详情链接等字段,完全不需要解析DOM上的CSS类
- 复刻接口请求逻辑:用
requests库携带与浏览器一致的请求头、必要的请求参数,直接请求接口地址即可拿到结构化的原始公告数据 - 抓取单条公告正文时,同样可通过开发者工具定位详情内容对应的JSON接口,直接请求获取正文内容,无需处理前端渲染流程
注意事项
- 硬编码匹配
mainTitle___mbpq1这类带哈希后缀的动态类名稳定性极差,前端版本迭代后类名的随机后缀会发生变化,即使成功定位到DOM,后续也极易出现匹配失效问题 - 静态解析HTML的方式适配这类客户端渲染页面的成本极高,直接对接后端JSON接口是当前场景下的最优选择
内容的提问来源于stack exchange,提问作者Vic Rokx
相关产品推荐
相关产品推荐

