Python爬虫:如何实现支持用户输入州名的GasBuddy油价查询功能
汽油价格爬虫代码动态适配州查询的改造方案
现有代码的两个核心问题
- 请求地址是硬编码固定值,无论用户输入什么州,请求的永远是路易斯安那州的页面,根本不会加载目标州的内容,哪怕元素匹配逻辑写对了也拿不到正确数据
- 元素匹配的参数和用户输入的内容没有做格式适配,直接拼接查询很容易出现大小写、名称格式不匹配的问题,触发空值报错
分步改造操作
1. 建立州名格式映射,实现动态URL拼接
GasBuddy的州页面路径使用两字母州缩写作为参数,不是完整州名,需要提前整理好州全称到对应缩写的映射关系,把用户输入的内容做格式清洗后,拼接成正确的请求地址,替换原来写死的URL部分:
# 提前整理州名到缩写的映射表 state_abbr_map = { "alabama": "al", "alaska": "ak", "nevada": "nv", "louisiana": "la", # 剩余州的对应关系可按照网站URL规则补全 } # 清洗用户输入 state_input = input("Input Your State ").strip().lower() # 校验输入合法性 if state_input not in state_abbr_map: print("输入的州名暂不支持查询,请检查拼写") exit() state_abbr = state_abbr_map[state_input] # 动态生成请求URL target_url = f"https://www.gasbuddy.com/usa/{state_abbr}" page = requests.get(target_url)
2. 适配输入格式,修正元素查找逻辑
不要直接把原始用户输入传给soup.find()方法,要把输入值调整成和页面元素id一致的格式,同时加容错判断,避免找不到元素时代码直接崩溃:
soup = BeautifulSoup(page.content, 'html.parser') # 把小写的用户输入转成网站id匹配的首字母大写格式,比如"nevada"转成"Nevada" target_state_id = state_input.title() title_el = soup.find(id=target_state_id) # 元素不存在时给出提示,不要直接调用.get_text()触发空值错误 if not title_el: print("页面结构已调整,未匹配到对应州的信息") exit() title = title_el.get_text(strip=True)
3. 缩小价格元素的查找范围,避免匹配错位
原来的全页面范围查找价格元素的逻辑很容易匹配到其他州的价格,应该在当前州对应的父容器内查找价格内容,保证匹配准确性:
# 从州标题的父级容器开始找价格,锁定当前州的内容范围 state_parent = title_el.parent price_el = state_parent.find("div", class_="col-sm-2 col-xs-3 text-right") price = price_el.get_text(strip=True) if price_el else "未获取到当前州实时价格" print(f"查询结果:{title} 当前汽油均价 {price}")
内容的提问来源于stack exchange,提问作者Lenue001
相关产品推荐
相关产品推荐

