如何从Faceit CSGO房间页面爬取链接,现有脚本失效如何修正
脚本问题定位与修正方案
现有脚本的核心错误
- 调用
BeautifulSoup.find_all()的参数逻辑完全错误:该方法第一个入参是待匹配的HTML标签名,你把href(a标签的属性名)当成标签名传入,从根本上就无法匹配到任何DOM节点。 - 抓取逻辑未适配页面渲染特性:Faceit对战房间页是前端JS动态渲染的页面,
requests直接获取的服务器初始返回内容,根本不包含demo下载链接对应的DOM节点,哪怕选择器写对,静态HTML源码里也搜不到目标资源。 - 元素定位层级偏差:参考页面结构里,带
list-unstyled类的是包裹下载链接的外层<ul>容器,不是带href属性的链接本身,直接匹配这个类名也定位不到目标地址。
可落地的修正方法
轻量提取方案
Faceit会在初始返回的HTML内嵌脚本中,直接嵌入包含demo地址的完整对战元数据,不需要等待前端全量JS渲染就能提取目标链接,抓取效率远高于浏览器渲染方案。
对应实现代码:
import requests import re target_url = "https://www.faceit.com/en/csgo/room/1-8d6729b5-cfeb-4059-8894-3b07e04e76b2" # 补充常规浏览器请求头,避免触发基础反爬拦截 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } resp = requests.get(target_url, headers=headers, timeout=15) # 匹配CDN域名下的CSGO demo压缩包链接 link_pattern = re.compile(r"https://demos-.*?\.dem\.gz") matched_result = link_pattern.search(resp.text) if matched_result: print(f"提取到目标demo链接:{matched_result.group()}")
BeautifulSoup 正确解析逻辑
如果要基于DOM解析完成提取,需要先拿到页面渲染完成后的完整DOM内容,再按正确的元素层级定位:
- 定位外层带
list-unstyled类的<ul>容器 - 遍历容器下带有效
href属性的<a>标签 - 筛选后缀为
.dem.gz的链接即为目标资源
对应的正确解析代码片段:
# 此处soup为加载完全部DOM后的解析实例 download_container = soup.find("ul", class_="list-unstyled") for link_tag in download_container.find_all("a", href=True): if link_tag["href"].endswith(".dem.gz"): print(f"定位到目标链接:{link_tag['href']}")
注意:如果纯
requests获取的页面中找不到目标节点,必须替换为支持JS渲染的抓取工具(如Playwright)获取完整DOM,不能继续用纯静态请求解析动态生成的DOM节点。
内容的提问来源于stack exchange,提问作者Nikos Allamanis
相关产品推荐
相关产品推荐

