You need to enable JavaScript to run this app. 使用Python Selenium爬取Giphy时无法正确获取img元素真实src属性
优惠活动
大模型
产品
解决方案
定价
更多

使用Python Selenium爬取Giphy时无法正确获取img元素真实src属性

问题根因与修复方案

你当前抓取时拿到的1x1 base64占位图、和开发者工具里看到的真实gif地址不一致,是三个核心原因叠加导致的:

  • 硬编码的层级XPath稳定性极差。你写的从#react-target开始逐层数div、数a标签序号的路径,只要前端页面结构有微小调整(比如新增一个侧边栏、调整容器排列顺序),路径就会错位、匹配到错误的元素。
  • 站点的懒加载机制导致初始src属性就是占位值。此前代码能正常拿到真实链接,是因为旧版Giphy前端会把真实图片地址直接写到img标签的src上;现在的前端逻辑是:图片元素初次渲染时,src固定填那段1x1透明base64占位资源,只有当元素滚动进入浏览器可视区域、被JS判定需要加载时,才会把真实的media.giphy.com域名下的图片url替换到src上,不少场景下真实url会先存在自定义的data-*属性上,不会第一时间写到src里。
  • 代码缺少等待逻辑,页面刚加载就立刻读属性。你在driver.get()之后没有任何等待,页面上的React组件还没完成渲染、懒加载JS还没执行替换属性的操作,此时读到的自然是初始状态的占位src值。

可直接落地的修改步骤

  1. 替换脆弱的层级XPath,改用稳定的类名特征匹配
    不要靠逐层数DOM节点定位,直接匹配带目标类名的图片元素,大幅降低页面结构调整带来的定位失败概率:

    # 替换原来的硬编码层级XPath
    img_x_path = '//img[contains(@class, "giphy-gif-img")]'
    
  2. 优化属性读取逻辑,兼容懒加载的属性存储规则
    不要硬绑定只读src属性,依次排查常见的懒加载属性字段,优先拿到真实url:

    def retrive_image_link(target_element):
        # 优先读取懒加载场景下的自定义存储属性
        real_link = target_element.get_attribute('data-src')
        # 兜底从srcset字段提取真实url
        if not real_link:
            srcset_value = target_element.get_attribute('srcset')
            if srcset_value:
                real_link = srcset_value.split(' ')[0]
        # 最后兜底读取src属性
        if not real_link:
            real_link = target_element.get_attribute('src')
        print(real_link)
        return real_link
    
  3. 增加触发懒加载的操作与显式等待
    打开页面后先执行滚动操作把目标图片移到可视区域,再用显式等待直到占位的base64值被替换成真实地址,避免过早读取拿到空值/占位值:

    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    
    driver = initialise_chrome()
    # 滚动页面,触发视口内元素的懒加载逻辑
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight * 0.5);")
    # 最多等待10秒,直到元素的src不再是固定的base64占位值
    WebDriverWait(driver, 10).until(
        lambda d: d.find_element(By.XPATH, img_x_path).get_attribute('src')
        != "data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7"
    )
    # 等待完成后再定位元素、读取属性
    x_path_req = driver.find_element(By.XPATH, img_x_path)
    retrive_image_link(x_path_req)
    

内容的提问来源于stack exchange,提问作者jakethesnack

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 17:15:04