使用Python Selenium爬取Giphy时无法正确获取img元素真实src属性
问题根因与修复方案
你当前抓取时拿到的1x1 base64占位图、和开发者工具里看到的真实gif地址不一致,是三个核心原因叠加导致的:
- 硬编码的层级XPath稳定性极差。你写的从
#react-target开始逐层数div、数a标签序号的路径,只要前端页面结构有微小调整(比如新增一个侧边栏、调整容器排列顺序),路径就会错位、匹配到错误的元素。 - 站点的懒加载机制导致初始
src属性就是占位值。此前代码能正常拿到真实链接,是因为旧版Giphy前端会把真实图片地址直接写到img标签的src上;现在的前端逻辑是:图片元素初次渲染时,src固定填那段1x1透明base64占位资源,只有当元素滚动进入浏览器可视区域、被JS判定需要加载时,才会把真实的media.giphy.com域名下的图片url替换到src上,不少场景下真实url会先存在自定义的data-*属性上,不会第一时间写到src里。 - 代码缺少等待逻辑,页面刚加载就立刻读属性。你在
driver.get()之后没有任何等待,页面上的React组件还没完成渲染、懒加载JS还没执行替换属性的操作,此时读到的自然是初始状态的占位src值。
可直接落地的修改步骤
替换脆弱的层级XPath,改用稳定的类名特征匹配
不要靠逐层数DOM节点定位,直接匹配带目标类名的图片元素,大幅降低页面结构调整带来的定位失败概率:# 替换原来的硬编码层级XPath img_x_path = '//img[contains(@class, "giphy-gif-img")]'优化属性读取逻辑,兼容懒加载的属性存储规则
不要硬绑定只读src属性,依次排查常见的懒加载属性字段,优先拿到真实url:def retrive_image_link(target_element): # 优先读取懒加载场景下的自定义存储属性 real_link = target_element.get_attribute('data-src') # 兜底从srcset字段提取真实url if not real_link: srcset_value = target_element.get_attribute('srcset') if srcset_value: real_link = srcset_value.split(' ')[0] # 最后兜底读取src属性 if not real_link: real_link = target_element.get_attribute('src') print(real_link) return real_link增加触发懒加载的操作与显式等待
打开页面后先执行滚动操作把目标图片移到可视区域,再用显式等待直到占位的base64值被替换成真实地址,避免过早读取拿到空值/占位值:from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait driver = initialise_chrome() # 滚动页面,触发视口内元素的懒加载逻辑 driver.execute_script("window.scrollTo(0, document.body.scrollHeight * 0.5);") # 最多等待10秒,直到元素的src不再是固定的base64占位值 WebDriverWait(driver, 10).until( lambda d: d.find_element(By.XPATH, img_x_path).get_attribute('src') != "data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" ) # 等待完成后再定位元素、读取属性 x_path_req = driver.find_element(By.XPATH, img_x_path) retrive_image_link(x_path_req)
内容的提问来源于stack exchange,提问作者jakethesnack
相关产品推荐
相关产品推荐

