使用BeautifulSoup(bs4)解析MEC网站价格返回None问题咨询

问题原因 #

你遇到的问题不是代码写法错误，也不是反爬直接拦截了请求，核心原因是MEC网站的商品价格属于JS动态渲染内容：

• 你用requests.get拿到的是服务器返回的原始HTML，此时价格数据还没有被插入到DOM结构中，根本不存在qa-single-price类的元素，所以bs4查找返回None。
• 你本地测试用的是浏览器渲染完成后的HTML片段，已经包含了JS插入的价格元素，所以可以正常解析。

你可以自行验证：打印re.text后搜索qa-single-price关键词，是完全匹配不到结果的。

解决方法 #

有两种常用方案可以获取价格：

• 方案1：解析页面内嵌的JSON数据
  大部分电商站点会把商品基础信息（含价格）提前写入页面的<script>标签内嵌的JSON结构中，你可以用正则表达式提取对应的JSON片段，解析后直接读取价格字段，无需渲染页面，性能更高。
• 方案2：使用浏览器自动化工具渲染页面
  用Selenium、Playwright这类工具模拟真实浏览器访问页面，等待JS执行完成、页面渲染完毕后，再提取页面源码用bs4解析，就能正常获取到价格元素。
  额外注意：发送请求时建议补充User-Agent请求头，避免被站点的基础反爬策略识别为爬虫返回异常内容。

内容的提问来源于stack exchange，提问作者Gurlal