Python爬取CurseForge页面提取项目ID时lxml返回空结果问题排查
CurseForge 模组页面项目ID爬取问题排查
基础场景说明
- 核心爬取需求:从指定的CurseForge《我的世界》模组文件页面中,提取项目ID值并存为本地变量
- 已确认的目标DOM片段:
<div class="w-full flex justify-between"> <span>Project ID</span> <span>421104</span> </div>
- 初始测试代码:
from lxml import html import requests url = "https://www.curseforge.com/minecraft/mc-mods/ae2-extras/files/3120250" page = requests.get(url) doc = html.fromstring(page.content) divs = doc.xpath("//div[@class='w-full flex justify-between']") print(divs)
- 初始运行结果:xpath返回值为空列表
[],已确认本地环境中requests、lxml依赖安装正常
问题拆解与解决方案
1. xpath定位返回空列表的根因
经实际排查,空结果的核心原因是初始发起的页面请求被Cloudflare防护机制拦截。这类场景下,requests拿到的响应内容是Cloudflare的人机验证拦截页,而非目标站点的真实页面DOM——哪怕xpath规则和真实页面的节点结构完全匹配,响应体中根本不存在对应的目标div,自然会返回空列表。完成请求层面的Cloudflare拦截适配,拿到真实的页面DOM响应后,才能正常执行后续的节点定位逻辑。
小提示:原xpath中使用@class='w-full flex justify-between'做完全类名匹配的写法鲁棒性较弱,如果页面类名顺序调整就会失效,更稳妥的写法是用contains()匹配类名特征
2. 目标节点拿到后的项目ID提取方法
成功获取到包含真实页面内容的DOM对象后,不需要先把所有匹配类名的div拉取出来再二次筛选,可以直接写精准匹配的xpath规则提取项目ID:
- 匹配规则:先定位带目标类名的div,筛选出第一个子span文本包含"Project ID"的节点,直接取该节点下第二个span的文本值,对应的xpath表达式为:
//div[contains(@class, 'w-full flex justify-between') and contains(span[1], 'Project ID')]/span[2]/text() - 提取得到的文本经过去空格、类型转换后,就可以存为本地的整数型项目ID变量,示例逻辑为:
extracted_text = doc.xpath("//div[contains(@class, 'w-full flex justify-between') and contains(span[1], 'Project ID')]/span[2]/text()")[0] project_id = int(extracted_text.strip())
内容的提问来源于stack exchange,提问作者QarthO
相关产品推荐
相关产品推荐

