You need to enable JavaScript to run this app. Python BeautifulSoup解析Zillow动态HTML文本提取返回空问题解决
优惠活动
大模型
产品
解决方案
定价
更多

Python BeautifulSoup解析Zillow动态HTML文本提取返回空问题解决

核心问题定位

原代码返回空结果的原因可以直接拆分:

  • 遍历全页面所有ul、li的逻辑没有类名筛选,会混杂页面所有模块的列表内容,没有精准锚定legend-entries目标节点
  • 未按规则匹配目标li:既没有单独识别带legend-value类的日期节点,也没有过滤带hide类的隐藏空节点
  • 底层适配缺陷:目标区域的联动文本是鼠标交互时由JS动态写入的,静态requests请求拿到的初始HTML中,这些节点的初始值为空,哪怕节点定位准确也读不到有效数值
  • 效率优化提示:不需要依赖悬浮tooltip的动态展示内容,页面内嵌的前端数据本身存储了全量的历史日期-房价映射,直接解析这部分静态数据即可获取全量走势,无需模拟鼠标交互。
精准提取实现代码

基于你已经可以定位到legend-entries节点的基础,调整类名匹配逻辑后的可运行代码如下:

from bs4 import BeautifulSoup
import requests

req_headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.8',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}

all_data = []
url = 'https://www.zillow.com/austin-tx/home-values/'
session = requests.Session()
resp = session.get(url, headers=req_headers)
soup = BeautifulSoup(resp.content, 'html.parser')

# 精准定位目标ul容器
target_container = soup.find('ul', class_='legend-entries')
if target_container:
    # 提取日期文本:匹配class含legend-value的li
    date_elem = target_container.find('li', class_='legend-value')
    current_date = date_elem.text.strip() if date_elem else None
    # 提取非隐藏房价文本:匹配class含legend-entry、不含hide标记的li
    price_elem = target_container.find(
        'li',
        class_=lambda attr: attr and 'legend-entry' in attr and 'hide' not in attr.split()
    )
    current_price = price_elem.text.strip() if price_elem else None
    all_data.append({"date": current_date, "price": current_price})

print(all_data)
动态场景适配

如果需要获取全量房价走势数据,无需使用浏览器自动化工具模拟鼠标悬浮抓取动态tooltip——这类交互方式成本高且容易触发反爬。可直接从页面返回HTML中查找内嵌的__NEXT_DATA__脚本节点,解析其中存储的JSON结构,即可批量提取所有历史时间点对应的房价数值,稳定性和效率远高于动态交互抓取。

内容的提问来源于stack exchange,提问作者max

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 16:15:00