You need to enable JavaScript to run this app. Python爬取CurseForge页面提取项目ID时lxml返回空结果问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取CurseForge页面提取项目ID时lxml返回空结果问题排查

CurseForge 模组页面项目ID爬取问题排查

基础场景说明

  • 核心爬取需求:从指定的CurseForge《我的世界》模组文件页面中,提取项目ID值并存为本地变量
  • 已确认的目标DOM片段:
<div class="w-full flex justify-between">
    <span>Project ID</span>
    <span>421104</span>
</div>
  • 初始测试代码:
from lxml import html
import requests

url = "https://www.curseforge.com/minecraft/mc-mods/ae2-extras/files/3120250"
page = requests.get(url)
doc = html.fromstring(page.content)
divs = doc.xpath("//div[@class='w-full flex justify-between']")
print(divs)
  • 初始运行结果:xpath返回值为空列表[],已确认本地环境中requests、lxml依赖安装正常

问题拆解与解决方案

1. xpath定位返回空列表的根因

经实际排查,空结果的核心原因是初始发起的页面请求被Cloudflare防护机制拦截。这类场景下,requests拿到的响应内容是Cloudflare的人机验证拦截页,而非目标站点的真实页面DOM——哪怕xpath规则和真实页面的节点结构完全匹配,响应体中根本不存在对应的目标div,自然会返回空列表。完成请求层面的Cloudflare拦截适配,拿到真实的页面DOM响应后,才能正常执行后续的节点定位逻辑。

小提示:原xpath中使用@class='w-full flex justify-between'做完全类名匹配的写法鲁棒性较弱,如果页面类名顺序调整就会失效,更稳妥的写法是用contains()匹配类名特征

2. 目标节点拿到后的项目ID提取方法

成功获取到包含真实页面内容的DOM对象后,不需要先把所有匹配类名的div拉取出来再二次筛选,可以直接写精准匹配的xpath规则提取项目ID:

  • 匹配规则:先定位带目标类名的div,筛选出第一个子span文本包含"Project ID"的节点,直接取该节点下第二个span的文本值,对应的xpath表达式为:
    //div[contains(@class, 'w-full flex justify-between') and contains(span[1], 'Project ID')]/span[2]/text()
  • 提取得到的文本经过去空格、类型转换后,就可以存为本地的整数型项目ID变量,示例逻辑为:
    extracted_text = doc.xpath("//div[contains(@class, 'w-full flex justify-between') and contains(span[1], 'Project ID')]/span[2]/text()")[0]
    project_id = int(extracted_text.strip())
    

内容的提问来源于stack exchange,提问作者QarthO

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 11:54:08