网页数据抓取:指定网站当前市场利润可更新字符串获取问询
目标站点「当前市场利润」动态抓取实现方案
核心前置定位
- 打开目标站点后按F12开开发者工具,用元素选择器点右上角「当前市场利润」的标注区,先确认两件事:
- 这个数值是初始HTML就带的(服务端渲染),还是等页面加载完后接口返回才显示的(前端异步渲染)
- 数值和标注文本的DOM关系:是紧跟在文本后面的兄弟节点,还是在同一个父容器里的独立子元素
别上来就写死class/id选择器,这类站点的样式类名很多是打包工具自动生成的,发版一次就变,优先用文本关联的方式定位
抓取逻辑代码示例
场景1:服务端渲染(初始HTML直接带值)
直接用轻量的requests+BeautifulSoup解析就行,完全不需要跑浏览器,速度快还省资源:
import requests from bs4 import BeautifulSoup TARGET_PAGE = "https://www.arbatunity.com/index.php" def get_latest_profit(): # 加常规UA避免被反爬拦截 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } resp = requests.get(TARGET_PAGE, headers=headers, timeout=10) resp.encoding = resp.apparent_encoding # 自动适配编码避免中文乱码 soup = BeautifulSoup(resp.text, "html.parser") # 通过文本「当前市场利润」定位关联的数值节点 profit_label = soup.find(string=lambda s: s and "当前市场利润" in s) if not profit_label: return "" profit_node = profit_label.find_next() # 找标签后面紧跟的第一个带数值的节点 return profit_node.get_text(strip=True) if profit_node else ""
返回的结果直接就是字符串类型,不用额外转义。
场景2:前端异步渲染(初始HTML没值)
这种情况纯requests拿不到动态加载的内容,得用带浏览器内核的渲染工具,这里用playwright的示例:
from playwright.sync_api import sync_playwright def get_async_profit(): with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto(TARGET_PAGE, wait_until="networkidle") # 等所有接口请求完成再取值 # 定位文本关联的数值节点,等元素加载完成再取值 profit_text = page.locator( "text=当前市场利润 >> xpath=following-sibling::*[1]" ).inner_text(timeout=5000) browser.close() return profit_text.strip()
动态更新实现
要拿到持续更新的字符串值,两种常用方案按需选:
- 低频率轮询:根据站点数值的更新频率,设置30s/1min的间隔定时调用上面的抓取函数,把最新值存在全局缓存里,需要的时候直接读就行,适合更新频率不高的场景
- DOM监听模式:如果站点本身是前端定时刷新这个数值的,不用主动轮询,直接用元素文本变化事件监听,只要节点文本一变就能立刻拿到最新值,资源占用更低
常见踩坑提醒
- 别用正则全局匹配HTML拿值,只要页面结构稍微调整一下匹配规则就失效,维护成本极高
- 请求一定要加正常的浏览器UA,裸
requests的默认UA很容易被站点反爬拦截返回空页面 - 拿完值记得做空格清理,很多时候DOM里的文本带前后换行或者空格,会导致字符串不符合预期的展示效果
内容的提问来源于stack exchange,提问作者Tyron Kendall
相关产品推荐
相关产品推荐

