使用rvest/BeautifulSoup爬取信息偶发无结果的排查与解决

爬虫时选好的CSS选择器返回空结果，本质是你拿到的HTML源码，和浏览器里看到的DOM结构根本不是同一个版本，常见诱因主要是三类：

• 动态内容未加载：这是最常碰到的情况。你用rvest的read_html、Python的requests拿到的是服务器第一次返回的初始HTML，这类页面的商家列表数据，根本不在初始源码里——而是等页面加载完成后，由前端JS发起异步请求拉取数据，再动态插入到DOM节点中。你手里的初始HTML里压根没有对应的节点标签，再精准的选择器也匹配不到内容。你提到的两个黄页站点的商家列表，都属于这类前端异步渲染的结构，所以直接抓初始源码必然拿不到内容。
• 反爬拦截返回异常页：服务器会对没有携带正常浏览器标识的请求做校验，如果你发的请求缺失User-Agent、Cookie、Referer这类基础请求头，会被识别为爬虫，直接返回空占位页、校验提示页，而非浏览器正常展示的带商家列表的页面。比如你Python示例代码里突尼斯站点的请求漏写了http://协议头，本身就无法正常获取页面内容，自然匹配不到目标节点。
• 动态类名不匹配：部分前端框架会在页面渲染时动态生成带随机后缀的样式类名，你在浏览器开发者工具里看到的类名，是JS运行后替换生成的，和初始HTML里写死的类名完全不一样。如果靠静态类名写选择器，自然没法匹配到初始源码里的节点。这也能解释你的疑问：为啥浏览器能正常看到内容？因为浏览器跑完全部JS后才会生成你在开发者工具里看到的类名和内容，静态爬取的时候根本跑不到这一步。

碰到这类节点匹配为空的问题，可以按步骤逐次排查解决：

• 先做基础校验：把你通过rvest、requests拿到的完整HTML源码保存为本地文件，打开后和浏览器里的页面做对比。如果保存的文件里完全没有商家列表的内容，基本可以判定是动态加载或者反爬拦截的问题；如果有内容但类名对不上，就是动态类名的匹配问题。
• 针对异步加载的动态内容，有两种效率最高的处理方式：
  • 优先定位背后的异步数据接口：打开浏览器开发者工具的网络面板，筛选XHR类的请求，找到直接返回商家列表结构化JSON数据的接口，直接请求该接口拿数据，比解析HTML节点的效率高得多，也不受前端页面结构变化的影响。
  • 如果接口有加密、校验规则复杂，就换用可模拟真实浏览器的工具：R语言生态可以用chromote、selenium包，Python生态可以用Playwright、Selenium模块，等页面完全加载完、列表内容渲染到DOM之后，再提取节点内容，和浏览器端的展示效果完全一致。
• 针对反爬拦截的问题：给请求补上和浏览器完全一致的请求头，最基础的要配置真实的User-Agent模拟Chrome浏览器的访问行为；如果站点需要Cookie校验，就把浏览器中对应站点的有效Cookie复制到请求头中，确保能拿到正常的业务页面，而非异常占位页。
• 针对动态类名的匹配问题：不要只靠随机生成的class名写选择器，可以换用页面中固定的层级结构、节点固定的属性、文本特征作为选择器的匹配依据，降低结构变动带来的匹配失效问题。

内容的提问来源于stack exchange，提问作者nd091680