You need to enable JavaScript to run this app. 使用BeautifulSoup爬取水坝数据时如何提取对应蓄水率数值
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取水坝数据时如何提取对应蓄水率数值

水坝蓄水率数值提取实现方法

当前代码没有拆分定义列表(dl标签)中字段名(dt标签)和对应值(dd标签)的配对关系,硬编码索引取值的方式,只要页面结构微调就会失效。可以参考以下两种方式提取目标值:

方式1:结构化解析HTML(稳定性更高)

HTML中dl标签的原生结构是用dt存字段名、dd存对应值,直接把标签一一配对建立映射,找到对应字段直接取值即可:

import requests
from bs4 import BeautifulSoup
import re

baraj_link = "https://www.turkiye.gov.tr/istanbul-su-ve-kanalizasyon-idaresi-baraj-doluluk-oranlari"
response = requests.get(baraj_link)
soup = BeautifulSoup(response.text, "lxml")

# 匹配目标定义列表
target_dl = soup.find('dl', class_=re.compile('compact'))
# 建立字段-值映射表
field_map = {}
for dt_tag, dd_tag in zip(target_dl.find_all('dt'), target_dl.find_all('dd')):
    field_name = dt_tag.get_text(strip=True)
    field_value = dd_tag.get_text(strip=True)
    field_map[field_name] = field_value

# 直接取目标蓄水率数值
storage_rate = field_map.get("Genel Doluluk Oranı (%)")

方式2:基于已抓取的纯文本快速处理

如果不想大改现有代码,已经拿到了整段拼接的文本内容,可以先按换行拆分成列表,定位到目标字段的位置后取下一行的值:

# 基于现有代码生成的baraj文本做处理
text_lines = [line.strip() for line in baraj.splitlines() if line.strip()]
# 定位目标字段的索引位置
target_field_index = text_lines.index("Genel Doluluk Oranı (%)")
# 相邻下一行就是蓄水率数值
storage_rate = text_lines[target_field_index + 1]

实操注意点

  • 数字格式适配:该站点的数字用逗号作为小数点分隔符(如29,48),如果后续需要做数值计算,要先替换成标准小数点格式再转类型:float(storage_rate.replace(',', '.'))
  • 避免硬编码固定索引位置:直接取列表固定位置的元素,页面结构调整后会出现取值错误,优先通过匹配字段名定位目标位置的鲁棒性更强。

内容的提问来源于stack exchange,提问作者Volvox

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 22:45:10