You need to enable JavaScript to run this app. 使用requests与BeautifulSoup爬取电商页面时无法提取img标签src属性的问题
优惠活动
大模型
产品
解决方案
定价
更多

使用requests与BeautifulSoup爬取电商页面时无法提取img标签src属性的问题

问题核心原因
  • requests发起的静态请求仅能获取服务器返回的初始HTML,noon搜索页的商品img标签是浏览器加载完JS、客户端完成渲染后才插入DOM的,初始HTML仅保留占位SVG,因此静态爬取结果里找不到对应img标签。
  • 手动拼接图片URL的方案不可行:示例图片路径包含动态版本标识、随机资源ID,无固定拼接规则,生成的链接极易失效。
可落地实现方案

方案1(优先推荐,效率最高):直接提取页面内嵌的结构化SSR数据

noon为了保证首屏加载速度、适配SEO规则,会把搜索结果的完整结构化数据(包含全部商品信息、图片URL)内嵌在页面的<script id="__NEXT_DATA__">标签中,不需要执行页面JS就能直接提取。
示例实现代码:

import requests
from bs4 import BeautifulSoup
import json

TARGET_URL = "https://www.noon.com/egypt-en/search?q=shoes"
# 必须配置和真实浏览器一致的请求头,否则会触发反爬拦截
REQUEST_HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.9"
}

resp = requests.get(TARGET_URL, headers=REQUEST_HEADERS)
soup = BeautifulSoup(resp.content, "html.parser")
# 定位内嵌的Next.js结构化数据
script_node = soup.find("script", attrs={"id": "__NEXT_DATA__"})
parsed_data = json.loads(script_node.string)
# 顺着JSON层级找到商品列表,提取图片字段
product_list = parsed_data["props"]["pageProps"]["products"]
for item in product_list:
    # 直接输出可访问的图片完整URL
    print(item["image"]["originalUrl"])

方案2(备选):通过无头浏览器执行JS渲染后提取DOM

如果内嵌数据的JSON结构发生变动,可直接模拟浏览器执行全量页面JS,等待图片元素渲染完成后再提取DOM内容,规避静态爬取拿不到动态内容的问题。
注意:爬取前必须等待div.productImage img选择器对应的元素真实出现在DOM中,不能页面刚加载就提取内容,否则还是会拿到占位SVG的结构。
基于Playwright的简单实现:

from playwright.sync_api import sync_playwright

with sync_playwright() as pw:
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto("https://www.noon.com/egypt-en/search?q=shoes")
    # 等待图片元素加载完成
    page.wait_for_selector("div.productImage img")
    img_nodes = page.query_selector_all("div.productImage img")
    for node in img_nodes:
        print(node.get_attribute("src"))
    browser.close()
避坑提示
  • 爬取时必须配置完整的浏览器请求头,缺失关键请求头会被noon的反爬机制直接拦截,返回的不是正常搜索结果页。
  • 不要直接信任初始HTML中不带img标签的DOM结构,这类电商站的动态占位元素是前端框架的通用设计,不代表页面没有存储对应的图片地址。

内容的提问来源于stack exchange,提问作者Kareem Etefy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 15:15:04