使用Python+BeautifulSoup4爬取cinch.co.uk无法获取a标签href如何解决

问题根因 #

该问题和::before无关，::before属于CSS伪元素，仅用于样式渲染，不会出现在HTML DOM结构中，不会影响标签定位。
你无法获取a标签的核心原因是：Requests库仅能拉取页面初始静态HTML，而cinch.co.uk的汽车广告链接、h3内嵌内容都是由前端JavaScript动态渲染生成的，初始静态HTML中不存在对应a标签，只有占位的省略号内容，因此BeautifulSoup无法定位到目标元素。

解决方案 #

可选择两种方案解决：

• 方案1：使用支持JS渲染的爬取工具
  替换Requests+BeautifulSoup组合，改用Selenium、Playwright等可模拟浏览器运行的工具，等待页面动态元素加载完成后再执行定位操作，即可正常获取a标签的href属性。
• 方案2：直接调用后端数据接口
  打开浏览器开发者工具的「网络」面板，刷新列表页后筛选XHR/Fetch类型请求，即可找到站点加载汽车列表数据的后端API，直接请求API获取结构化JSON数据，无需解析HTML，效率更高、稳定性更强。

现有代码问题修正 #

当前代码存在逻辑错误：你将查找得到的h3元素传入getIntoPage方法，但该方法内部逻辑是从入参根节点下查找class为jB_dD的a标签，你需要先确认目标a标签确实属于h3的子节点，避免定位层级错误。

内容的提问来源于stack exchange，提问作者Alexandru Mihalache