使用BeautifulSoup爬取水坝数据时如何提取对应蓄水率数值
水坝蓄水率数值提取实现方法
当前代码没有拆分定义列表(dl标签)中字段名(dt标签)和对应值(dd标签)的配对关系,硬编码索引取值的方式,只要页面结构微调就会失效。可以参考以下两种方式提取目标值:
方式1:结构化解析HTML(稳定性更高)
HTML中dl标签的原生结构是用dt存字段名、dd存对应值,直接把标签一一配对建立映射,找到对应字段直接取值即可:
import requests from bs4 import BeautifulSoup import re baraj_link = "https://www.turkiye.gov.tr/istanbul-su-ve-kanalizasyon-idaresi-baraj-doluluk-oranlari" response = requests.get(baraj_link) soup = BeautifulSoup(response.text, "lxml") # 匹配目标定义列表 target_dl = soup.find('dl', class_=re.compile('compact')) # 建立字段-值映射表 field_map = {} for dt_tag, dd_tag in zip(target_dl.find_all('dt'), target_dl.find_all('dd')): field_name = dt_tag.get_text(strip=True) field_value = dd_tag.get_text(strip=True) field_map[field_name] = field_value # 直接取目标蓄水率数值 storage_rate = field_map.get("Genel Doluluk Oranı (%)")
方式2:基于已抓取的纯文本快速处理
如果不想大改现有代码,已经拿到了整段拼接的文本内容,可以先按换行拆分成列表,定位到目标字段的位置后取下一行的值:
# 基于现有代码生成的baraj文本做处理 text_lines = [line.strip() for line in baraj.splitlines() if line.strip()] # 定位目标字段的索引位置 target_field_index = text_lines.index("Genel Doluluk Oranı (%)") # 相邻下一行就是蓄水率数值 storage_rate = text_lines[target_field_index + 1]
实操注意点
- 数字格式适配:该站点的数字用逗号作为小数点分隔符(如
29,48),如果后续需要做数值计算,要先替换成标准小数点格式再转类型:float(storage_rate.replace(',', '.')) - 避免硬编码固定索引位置:直接取列表固定位置的元素,页面结构调整后会出现取值错误,优先通过匹配字段名定位目标位置的鲁棒性更强。
内容的提问来源于stack exchange,提问作者Volvox
相关产品推荐
相关产品推荐

