Python Requests与浏览器获取HTML不一致，如何获取目标站点昨日降水量？

我之前碰到过类似的爬取困境，虽然禁用JS后浏览器仍能显示数据，但爬虫拿不到，核心原因大概率是请求头不匹配——很多站点会根据User-Agent等请求头字段判断访问来源，给爬虫返回和浏览器不同的页面内容。

1. 先对齐请求头 #

浏览器发送的请求头和requests/urllib默认的请求头差异很大，你可以按以下步骤操作：

• 打开浏览器开发者工具（F12），切换到Network标签，刷新页面后找到目标请求；
• 复制该请求的完整请求头（重点关注User-Agent、Accept、Accept-Language这几个字段）；
• 在Python请求中带上这些头信息，就能获取到和浏览器一致的页面内容。

2. 定位降水量数据的位置 #

当拿到正确的HTML后，你会发现昨日降水量的数值其实就在页面的常规HTML元素里（比如某个<td>或<span>标签）。举个例子，我模拟请求后找到的结构大概是：

<tr>
  <td>Yesterday's Precipitation</td>
  <td><span class="precip-data">0.13</span> inches</td>
</tr>

3. Python代码实现 #

下面是用requests+BeautifulSoup的完整实现代码：

import requests
from bs4 import BeautifulSoup

# 模拟浏览器请求头，替换成你从开发者工具复制的内容
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.5',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}

target_url = 'http://www.fastweather.com/yesterday.php?city=St.+Louis_MO'

# 发送请求并解析页面
response = requests.get(target_url, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')

# 根据实际页面结构定位元素，这里可以用浏览器的"复制选择器"功能获取更准确的选择器
precip_label = soup.find('td', string="Yesterday's Precipitation")
if precip_label:
    precip_value = precip_label.find_next_sibling('td').find('span').text.strip()
    print(f"昨日降水量：{precip_value} 英寸")
else:
    print("未找到降水量数据")

小提示 #

如果上面的选择器没命中，你可以右键点击浏览器里的降水量数值，选择"检查"，然后复制对应的CSS选择器或XPath，替换到代码的查找逻辑里。另外，少数站点会把数据藏在页面注释或CSS属性里，但你禁用JS仍能看到，这种情况概率极低，优先排查请求头和HTML结构即可。

内容的提问来源于stack exchange，提问作者Ness