You need to enable JavaScript to run this app. 如何从Faceit CSGO房间页面爬取链接,现有脚本失效如何修正
优惠活动
大模型
产品
解决方案
定价
更多

如何从Faceit CSGO房间页面爬取链接,现有脚本失效如何修正

脚本问题定位与修正方案

现有脚本的核心错误

  • 调用BeautifulSoup.find_all()的参数逻辑完全错误:该方法第一个入参是待匹配的HTML标签名,你把href(a标签的属性名)当成标签名传入,从根本上就无法匹配到任何DOM节点。
  • 抓取逻辑未适配页面渲染特性:Faceit对战房间页是前端JS动态渲染的页面,requests直接获取的服务器初始返回内容,根本不包含demo下载链接对应的DOM节点,哪怕选择器写对,静态HTML源码里也搜不到目标资源。
  • 元素定位层级偏差:参考页面结构里,带list-unstyled类的是包裹下载链接的外层<ul>容器,不是带href属性的链接本身,直接匹配这个类名也定位不到目标地址。

可落地的修正方法

轻量提取方案

Faceit会在初始返回的HTML内嵌脚本中,直接嵌入包含demo地址的完整对战元数据,不需要等待前端全量JS渲染就能提取目标链接,抓取效率远高于浏览器渲染方案。
对应实现代码:

import requests
import re

target_url = "https://www.faceit.com/en/csgo/room/1-8d6729b5-cfeb-4059-8894-3b07e04e76b2"
# 补充常规浏览器请求头,避免触发基础反爬拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}
resp = requests.get(target_url, headers=headers, timeout=15)
# 匹配CDN域名下的CSGO demo压缩包链接
link_pattern = re.compile(r"https://demos-.*?\.dem\.gz")
matched_result = link_pattern.search(resp.text)
if matched_result:
    print(f"提取到目标demo链接:{matched_result.group()}")

BeautifulSoup 正确解析逻辑

如果要基于DOM解析完成提取,需要先拿到页面渲染完成后的完整DOM内容,再按正确的元素层级定位:

  • 定位外层带list-unstyled类的<ul>容器
  • 遍历容器下带有效href属性的<a>标签
  • 筛选后缀为.dem.gz的链接即为目标资源
    对应的正确解析代码片段:
# 此处soup为加载完全部DOM后的解析实例
download_container = soup.find("ul", class_="list-unstyled")
for link_tag in download_container.find_all("a", href=True):
    if link_tag["href"].endswith(".dem.gz"):
        print(f"定位到目标链接:{link_tag['href']}")

注意:如果纯requests获取的页面中找不到目标节点,必须替换为支持JS渲染的抓取工具(如Playwright)获取完整DOM,不能继续用纯静态请求解析动态生成的DOM节点。


内容的提问来源于stack exchange,提问作者Nikos Allamanis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 17:06:03