You need to enable JavaScript to run this app. 基于Python爬虫实现Google图片搜索返回图像URL的代码失效,求修改指导
优惠活动
大模型
产品
解决方案
定价
更多

基于Python爬虫实现Google图片搜索返回图像URL的代码失效,求修改指导

谷歌图片搜索首图URL提取代码问题排查与调整

原代码存在的核心错误

  • 请求参数传递逻辑错误:urlopen 方法第一个入参为完整请求地址,第二个入参为POST表单提交数据,原代码把搜索关键词word作为第二个参数传入,根本没有拼接到GET请求的URL路径中,最终发起的请求不携带任何搜索关键词。
  • URL转义字符未处理:原代码地址中的&是HTML页面的转义字符,实际请求需要使用原生&分隔参数,未替换会导致谷歌无法正确识别请求参数。
  • 关键词未做URL编码:输入内容包含中文、特殊符号时,未编码的关键词会直接触发谷歌请求校验失败。
  • 缺少请求头被反爬拦截:未携带模拟浏览器的请求标识,谷歌会直接返回人机验证页面,无法获取真实搜索结果。
  • 图片元素匹配逻辑失效:谷歌图片搜索页的img标签src大多为站点占位图标,真正的结果图地址存储在页面内嵌的JSON数据中,靠正则匹配.jpg后缀的src属性无法抓到真实结果图。

代码调整方案

按以下逻辑修改后即可实现目标功能:

  1. 正确拼接GET请求URL,将所有&替换为原生参数分隔符&,通过urllib.parse.quote对输入关键词做URL编码。
  2. 为请求添加模拟Chrome浏览器的User-Agent请求头,绕过基础爬虫检测。
  3. 从页面内嵌的JSON字段中提取首张结果图的原始URL,不再依赖img标签的src属性匹配占位图。

调整后参考代码

from urllib.request import urlopen, Request
from urllib.parse import quote
import re

# 获取用户输入的搜索关键词
search_word = input().strip()
# 构造合规的图片搜索请求地址
target_url = f'https://www.google.com/search?q={quote(search_word)}&tbm=isch'
# 配置模拟浏览器的请求头
request_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'
}
# 发起网络请求
request = Request(target_url, headers=request_headers)
response = urlopen(request).read().decode('utf-8')
# 匹配页面中存储的首张原图URL
url_match = re.search(r'"ou":"(https?://[^"]+)"', response)
if url_match:
    print("搜索到的首张图片URL:", url_match.group(1))
else:
    print("未提取到有效图片URL,当前请求可能被谷歌反爬策略拦截")

运行注意事项

  • 运行环境需要可正常访问谷歌搜索服务,否则会直接触发连接超时错误。
  • 不可高频发起重复请求,否则会触发IP级别的访问限制,弹出人机验证。
  • 谷歌页面结构调整后,内嵌JSON字段的标识可能变化,需要对应调整正则匹配规则。

内容的提问来源于stack exchange,提问作者Lagis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 02:24:05