You need to enable JavaScript to run this app. 网页数据抓取:指定网站当前市场利润可更新字符串获取问询
优惠活动
大模型
产品
解决方案
定价
更多

网页数据抓取:指定网站当前市场利润可更新字符串获取问询

目标站点「当前市场利润」动态抓取实现方案

核心前置定位

  • 打开目标站点后按F12开开发者工具,用元素选择器点右上角「当前市场利润」的标注区,先确认两件事:
    • 这个数值是初始HTML就带的(服务端渲染),还是等页面加载完后接口返回才显示的(前端异步渲染)
    • 数值和标注文本的DOM关系:是紧跟在文本后面的兄弟节点,还是在同一个父容器里的独立子元素

别上来就写死class/id选择器,这类站点的样式类名很多是打包工具自动生成的,发版一次就变,优先用文本关联的方式定位

抓取逻辑代码示例

场景1:服务端渲染(初始HTML直接带值)

直接用轻量的requests+BeautifulSoup解析就行,完全不需要跑浏览器,速度快还省资源:

import requests
from bs4 import BeautifulSoup

TARGET_PAGE = "https://www.arbatunity.com/index.php"

def get_latest_profit():
    # 加常规UA避免被反爬拦截
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
    }
    resp = requests.get(TARGET_PAGE, headers=headers, timeout=10)
    resp.encoding = resp.apparent_encoding  # 自动适配编码避免中文乱码
    soup = BeautifulSoup(resp.text, "html.parser")
    # 通过文本「当前市场利润」定位关联的数值节点
    profit_label = soup.find(string=lambda s: s and "当前市场利润" in s)
    if not profit_label:
        return ""
    profit_node = profit_label.find_next()  # 找标签后面紧跟的第一个带数值的节点
    return profit_node.get_text(strip=True) if profit_node else ""

返回的结果直接就是字符串类型,不用额外转义。

场景2:前端异步渲染(初始HTML没值)

这种情况纯requests拿不到动态加载的内容,得用带浏览器内核的渲染工具,这里用playwright的示例:

from playwright.sync_api import sync_playwright

def get_async_profit():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto(TARGET_PAGE, wait_until="networkidle")  # 等所有接口请求完成再取值
        # 定位文本关联的数值节点,等元素加载完成再取值
        profit_text = page.locator(
            "text=当前市场利润 >> xpath=following-sibling::*[1]"
        ).inner_text(timeout=5000)
        browser.close()
        return profit_text.strip()

动态更新实现

要拿到持续更新的字符串值,两种常用方案按需选:

  • 低频率轮询:根据站点数值的更新频率,设置30s/1min的间隔定时调用上面的抓取函数,把最新值存在全局缓存里,需要的时候直接读就行,适合更新频率不高的场景
  • DOM监听模式:如果站点本身是前端定时刷新这个数值的,不用主动轮询,直接用元素文本变化事件监听,只要节点文本一变就能立刻拿到最新值,资源占用更低

常见踩坑提醒

  • 别用正则全局匹配HTML拿值,只要页面结构稍微调整一下匹配规则就失效,维护成本极高
  • 请求一定要加正常的浏览器UA,裸requests的默认UA很容易被站点反爬拦截返回空页面
  • 拿完值记得做空格清理,很多时候DOM里的文本带前后换行或者空格,会导致字符串不符合预期的展示效果

内容的提问来源于stack exchange,提问作者Tyron Kendall

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 07:27:04