You need to enable JavaScript to run this app. Python爬取Google搜索span标签获取客户地址结果不一致问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取Google搜索span标签获取客户地址结果不一致问题排查

问题原因

  • 关键词编码不规范:手动替换空格为加号的方式兼容性差,特殊字符会导致搜索参数失效,需使用标准URL编码处理
  • URL参数拼接错误:&是HTML转义字符,HTTP请求中需直接使用&作为参数分隔符
  • 元素选择逻辑脆弱:硬编码多类名匹配、强制取列表索引的写法容错性极低,Google页面类名动态调整就会匹配失败
  • UA版本过旧:Chrome 90的UA已过时,Google对旧版本UA会返回结构不同的页面,导致目标元素无法匹配

修正后代码

import requests
from bs4 import BeautifulSoup
import csv
from time import sleep
from urllib.parse import quote

# 可通过浏览器console输入navigator.userAgent获取你当前浏览器的最新UA,避免被Google识别为爬虫
HEADERS = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'}

# 直接写原始关键词即可,不需要手动替换空格为加号
c = 'siong auto enterprise'
d = 'dk motor sdn bhd'
st = [c,d]

result = []

for keyword in st:
    # 用标准方法对关键词做URL编码
    encoded_keyword = quote(keyword)
    # 正确拼接请求URL
    url = f'https://www.google.com.my/search?q={encoded_keyword}&start=0'
    r = requests.get(url, headers=HEADERS)
    soup = BeautifulSoup(r.content, 'html.parser')
    
    # 简化地址匹配逻辑,跳过不稳定的父元素匹配
    address_ele = soup.find('span', class_='LrzXr')
    address = address_ele.text.strip() if address_ele else ''
    
    # 简化公司名匹配逻辑,放弃多类名精确匹配,匹配不到就用原始关键词兜底
    company_ele = soup.find('h2', class_='qrShPb')
    company = company_ele.text.strip() if company_ele else keyword
    
    print(keyword, company, address)
    result.append({'company': company, 'address': address})
    sleep(3) # 拉长请求间隔避免被Google临时封禁

# 写入CSV文件,utf-8-sig编码兼容Excel打开不乱码
with open('company_address.csv', 'w', encoding='utf-8-sig', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=['company', 'address'])
    writer.writeheader()
    writer.writerows(result)

补充说明

运行后生成的company_address.csv就是你需要的表格格式,可直接用办公软件打开查看。如果后续出现新的匹配失败情况,可以打印返回的HTML内容,确认Google是否更新了页面元素的类名。

内容的提问来源于stack exchange,提问作者kai

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 17:15:04