Python爬取Google搜索span标签获取客户地址结果不一致问题排查
问题原因
- 关键词编码不规范:手动替换空格为加号的方式兼容性差,特殊字符会导致搜索参数失效,需使用标准URL编码处理
- URL参数拼接错误:
&是HTML转义字符,HTTP请求中需直接使用&作为参数分隔符 - 元素选择逻辑脆弱:硬编码多类名匹配、强制取列表索引的写法容错性极低,Google页面类名动态调整就会匹配失败
- UA版本过旧:Chrome 90的UA已过时,Google对旧版本UA会返回结构不同的页面,导致目标元素无法匹配
修正后代码
import requests from bs4 import BeautifulSoup import csv from time import sleep from urllib.parse import quote # 可通过浏览器console输入navigator.userAgent获取你当前浏览器的最新UA,避免被Google识别为爬虫 HEADERS = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'} # 直接写原始关键词即可,不需要手动替换空格为加号 c = 'siong auto enterprise' d = 'dk motor sdn bhd' st = [c,d] result = [] for keyword in st: # 用标准方法对关键词做URL编码 encoded_keyword = quote(keyword) # 正确拼接请求URL url = f'https://www.google.com.my/search?q={encoded_keyword}&start=0' r = requests.get(url, headers=HEADERS) soup = BeautifulSoup(r.content, 'html.parser') # 简化地址匹配逻辑,跳过不稳定的父元素匹配 address_ele = soup.find('span', class_='LrzXr') address = address_ele.text.strip() if address_ele else '' # 简化公司名匹配逻辑,放弃多类名精确匹配,匹配不到就用原始关键词兜底 company_ele = soup.find('h2', class_='qrShPb') company = company_ele.text.strip() if company_ele else keyword print(keyword, company, address) result.append({'company': company, 'address': address}) sleep(3) # 拉长请求间隔避免被Google临时封禁 # 写入CSV文件,utf-8-sig编码兼容Excel打开不乱码 with open('company_address.csv', 'w', encoding='utf-8-sig', newline='') as f: writer = csv.DictWriter(f, fieldnames=['company', 'address']) writer.writeheader() writer.writerows(result)
补充说明
运行后生成的company_address.csv就是你需要的表格格式,可直接用办公软件打开查看。如果后续出现新的匹配失败情况,可以打印返回的HTML内容,确认Google是否更新了页面元素的类名。
内容的提问来源于stack exchange,提问作者kai
相关产品推荐
相关产品推荐

