使用BeautifulSoup爬取亚马逊商品图片报AttributeError错误如何解决

问题根因 #

• 报错的核心原因是soup.find(id="imgTagWrapperId")未匹配到对应DOM元素，返回了None，后续尝试访问None.img触发了属性不存在的错误。
• 匹配失败的常见原因：
  • 亚马逊部分特殊品类、活动商品的页面结构和常规商品页不同，不存在imgTagWrapperId这个元素
  • 请求被亚马逊反爬策略拦截，返回的是验证页、空白页而非正常商品页，无对应DOM结构
  • 图片容器为JS动态渲染生成，直接抓取静态HTML时不存在该ID元素

修复方案 #

我们需要在每一步属性访问前增加非空判断，同时补充多套备用提取逻辑，避免单一路径失效就触发报错：

import json

def take_image(soup):
    # 优先使用原逻辑提取
    img_div = soup.find(id="imgTagWrapperId")
    if img_div and img_div.img:
        imgs_str = img_div.img.get('data-a-dynamic-image')
        if imgs_str:
            try:
                imgs_dict = json.loads(imgs_str)
                if imgs_dict:
                    return list(imgs_dict.keys())[0]
            except json.JSONDecodeError:
                pass
    
    # 备用逻辑1：直接匹配带目标属性的img标签
    img_tag = soup.find("img", attrs={"data-a-dynamic-image": True})
    if img_tag:
        imgs_str = img_tag.get('data-a-dynamic-image')
        try:
            imgs_dict = json.loads(imgs_str)
            if imgs_dict:
                return list(imgs_dict.keys())[0]
        except json.JSONDecodeError:
            pass
    
    # 备用逻辑2：提取og:image元标签内容，绝大多数亚马逊商品页都存在该标签
    og_img = soup.find("meta", property="og:image")
    if og_img:
        return og_img.get("content")
    
    # 所有逻辑失效时返回预设的无图占位链接，避免后续逻辑报错
    return "你的预设无图占位链接"

额外优化建议 #

• 请求页面时在请求头中添加模拟浏览器的User-Agent参数，降低反爬拦截概率
• 增加请求超时、重试机制，避免页面加载不全导致的DOM缺失
• 解析页面前可先校验页面标题是否包含验证码、机器人等关键词，提前拦截异常返回

内容的提问来源于stack exchange，提问作者Giuseppe