基于Python爬虫实现Google图片搜索返回图像URL的代码失效,求修改指导
谷歌图片搜索首图URL提取代码问题排查与调整
原代码存在的核心错误
- 请求参数传递逻辑错误:
urlopen方法第一个入参为完整请求地址,第二个入参为POST表单提交数据,原代码把搜索关键词word作为第二个参数传入,根本没有拼接到GET请求的URL路径中,最终发起的请求不携带任何搜索关键词。 - URL转义字符未处理:原代码地址中的
&是HTML页面的转义字符,实际请求需要使用原生&分隔参数,未替换会导致谷歌无法正确识别请求参数。 - 关键词未做URL编码:输入内容包含中文、特殊符号时,未编码的关键词会直接触发谷歌请求校验失败。
- 缺少请求头被反爬拦截:未携带模拟浏览器的请求标识,谷歌会直接返回人机验证页面,无法获取真实搜索结果。
- 图片元素匹配逻辑失效:谷歌图片搜索页的img标签src大多为站点占位图标,真正的结果图地址存储在页面内嵌的JSON数据中,靠正则匹配
.jpg后缀的src属性无法抓到真实结果图。
代码调整方案
按以下逻辑修改后即可实现目标功能:
- 正确拼接GET请求URL,将所有
&替换为原生参数分隔符&,通过urllib.parse.quote对输入关键词做URL编码。 - 为请求添加模拟Chrome浏览器的User-Agent请求头,绕过基础爬虫检测。
- 从页面内嵌的JSON字段中提取首张结果图的原始URL,不再依赖img标签的src属性匹配占位图。
调整后参考代码
from urllib.request import urlopen, Request from urllib.parse import quote import re # 获取用户输入的搜索关键词 search_word = input().strip() # 构造合规的图片搜索请求地址 target_url = f'https://www.google.com/search?q={quote(search_word)}&tbm=isch' # 配置模拟浏览器的请求头 request_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36' } # 发起网络请求 request = Request(target_url, headers=request_headers) response = urlopen(request).read().decode('utf-8') # 匹配页面中存储的首张原图URL url_match = re.search(r'"ou":"(https?://[^"]+)"', response) if url_match: print("搜索到的首张图片URL:", url_match.group(1)) else: print("未提取到有效图片URL,当前请求可能被谷歌反爬策略拦截")
运行注意事项
- 运行环境需要可正常访问谷歌搜索服务,否则会直接触发连接超时错误。
- 不可高频发起重复请求,否则会触发IP级别的访问限制,弹出人机验证。
- 谷歌页面结构调整后,内嵌JSON字段的标识可能变化,需要对应调整正则匹配规则。
内容的提问来源于stack exchange,提问作者Lagis
相关产品推荐
相关产品推荐

