使用requests与BeautifulSoup爬取电商页面时无法提取img标签src属性的问题
问题核心原因
requests发起的静态请求仅能获取服务器返回的初始HTML,noon搜索页的商品img标签是浏览器加载完JS、客户端完成渲染后才插入DOM的,初始HTML仅保留占位SVG,因此静态爬取结果里找不到对应img标签。- 手动拼接图片URL的方案不可行:示例图片路径包含动态版本标识、随机资源ID,无固定拼接规则,生成的链接极易失效。
可落地实现方案
方案1(优先推荐,效率最高):直接提取页面内嵌的结构化SSR数据
noon为了保证首屏加载速度、适配SEO规则,会把搜索结果的完整结构化数据(包含全部商品信息、图片URL)内嵌在页面的<script id="__NEXT_DATA__">标签中,不需要执行页面JS就能直接提取。
示例实现代码:
import requests from bs4 import BeautifulSoup import json TARGET_URL = "https://www.noon.com/egypt-en/search?q=shoes" # 必须配置和真实浏览器一致的请求头,否则会触发反爬拦截 REQUEST_HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "Accept-Language": "en-US,en;q=0.9" } resp = requests.get(TARGET_URL, headers=REQUEST_HEADERS) soup = BeautifulSoup(resp.content, "html.parser") # 定位内嵌的Next.js结构化数据 script_node = soup.find("script", attrs={"id": "__NEXT_DATA__"}) parsed_data = json.loads(script_node.string) # 顺着JSON层级找到商品列表,提取图片字段 product_list = parsed_data["props"]["pageProps"]["products"] for item in product_list: # 直接输出可访问的图片完整URL print(item["image"]["originalUrl"])
方案2(备选):通过无头浏览器执行JS渲染后提取DOM
如果内嵌数据的JSON结构发生变动,可直接模拟浏览器执行全量页面JS,等待图片元素渲染完成后再提取DOM内容,规避静态爬取拿不到动态内容的问题。
注意:爬取前必须等待div.productImage img选择器对应的元素真实出现在DOM中,不能页面刚加载就提取内容,否则还是会拿到占位SVG的结构。
基于Playwright的简单实现:
from playwright.sync_api import sync_playwright with sync_playwright() as pw: browser = pw.chromium.launch(headless=True) page = browser.new_page() page.goto("https://www.noon.com/egypt-en/search?q=shoes") # 等待图片元素加载完成 page.wait_for_selector("div.productImage img") img_nodes = page.query_selector_all("div.productImage img") for node in img_nodes: print(node.get_attribute("src")) browser.close()
避坑提示
- 爬取时必须配置完整的浏览器请求头,缺失关键请求头会被noon的反爬机制直接拦截,返回的不是正常搜索结果页。
- 不要直接信任初始HTML中不带img标签的DOM结构,这类电商站的动态占位元素是前端框架的通用设计,不代表页面没有存储对应的图片地址。
内容的提问来源于stack exchange,提问作者Kareem Etefy
相关产品推荐
相关产品推荐

