You need to enable JavaScript to run this app. 使用requests结合BeautifulSoup从西联汇款网页提取价格失败问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

使用requests结合BeautifulSoup从西联汇款网页提取价格失败问题咨询

问题原因排查
  • 基础语法与依赖错误:代码开头漏写BeautifulSoup的导入语句,运行时会直接抛出未定义名称错误;同时代码逻辑存在调用错误:先将requests.get()返回的.text(字符串类型)赋值给page,后续初始化BeautifulSoup时又调用page.content——字符串类型不存在content属性,会直接触发属性错误,无法完成页面解析。
  • 页面渲染机制不匹配:西联汇款的汇率、手续费等价格参数属于前端异步动态渲染内容,初始返回的HTML源码中并不包含带.smoExchangeRate类的价格节点,这类节点是页面加载完成后,由前端脚本调用后端接口拉取数据,再动态插入到DOM树中的。纯requests只能拿到初始静态HTML,即便修正前面的语法错误,选择器也无法匹配到目标元素。
  • 请求合规性缺失:西联的服务端有基础的反爬校验,裸发无请求头的requests请求,很容易被网关拦截,返回的不是正常业务页面,而是人机验证页或错误提示页。
  • URL参数格式错误:传入的URL中&是HTML实体转义字符,直接作为请求地址传递会导致服务端参数解析异常,无法正确匹配对应汇款链路的查询价格。
可行的提取实现方案

可按照两种落地路径实现提取:

  1. 直连后端数据接口:跳过前端渲染环节,定位西联前端调用的汇率查询后端接口,补全真实浏览器的请求头,直接请求接口返回的JSON结构化数据,这种方式无页面渲染开销,提取效率最高。
  2. 模拟真实浏览器渲染:如果不想手动定位接口,可使用Playwright、Selenium这类支持浏览器自动渲染的工具,模拟真实用户打开目标页面,等待目标价格DOM节点加载完成后,再执行元素选择提取操作。

修正后的基础参考逻辑(已补全语法错误部分):

import requests
from bs4 import BeautifulSoup

# 修正URL格式,将HTML转义的&替换为标准URL参数分隔符&
target_url = 'https://www.westernunion.com/us/en/web/send-money/start?SrcCode=12345&ReceiveCountry=IN&SendAmount=100&ISOCurrency=CNY&FundsOut=BA&FundsIn=CreditCard'

# 补全模拟真实浏览器的请求头,避免被反爬拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

response = requests.get(target_url, headers=headers)
# 修正属性调用错误,直接将响应的文本内容传入解析器
soup = BeautifulSoup(response.text, 'html.parser')
# 注:这里需要等待动态渲染节点加载完成才能匹配到目标元素,纯requests无法实现,需搭配接口直连或无头浏览器能力
price = soup.select('.smoExchangeRate')
print(price)

仅修正语法和请求头参数无法直接拿到目标价格,因为目标内容是动态异步加载的,必须搭配上述两种动态数据获取逻辑才能拿到正确的参数值。

内容的提问来源于stack exchange,提问作者itgeek

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 23:54:07