如何使用Selenium与BeautifulSoup将Zillow房源详情的ul元素解析为字典

我来帮你搞定这个解析的问题！你已经成功定位到了房源详情的ul元素，接下来只需要对每个li标签做拆分提取，就能得到你想要的字典格式啦。

实现代码 #

结合你的现有代码，我们可以这样修改来生成目标字典：

import pandas as pd
import numpy as np
import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import re, dateutil.parser
from bs4 import BeautifulSoup
import time
from selenium.webdriver.common import action_chains, keys

# 初始化浏览器选项和驱动
options = Options()
driver = webdriver.Chrome(executable_path=os.path.abspath("chromedriver"), options=options)

# 目标URL
zip_url = 'https://www.zillow.com/homes/for_sale/95536_rb/'
driver.get(zip_url)
# 等待页面加载（可以根据实际情况调整等待时间）
time.sleep(3)

# 解析页面
tstsoup = BeautifulSoup(driver.page_source, 'html.parser')
# 获取所有房源详情的ul元素
ul_elements = tstsoup.find_all('ul', {'class':'list-card-details'})

# 用来存储所有房源的详情字典
all_property_details = []

for ul in ul_elements:
    property_details = {}
    # 遍历当前房源的每个详情项
    for li in ul.find_all('li'):
        abbr_tag = li.find('abbr', class_='list-card-label')
        # 只处理带有单位标签的项（跳过房源状态行）
        if abbr_tag:
            unit = abbr_tag.get_text(strip=True)
            # 提取数值部分，去除逗号和单位文本
            value_text = li.get_text(strip=True).replace(unit, '').replace(',', '')
            # 转换为整数并存入字典
            try:
                value = int(value_text)
                property_details[unit] = value
            except ValueError:
                continue
    if property_details:
        all_property_details.append(property_details)

# 输出第一个房源的详情（对应你给出的示例）
print(all_property_details[0])
# 输出所有房源的详情列表
# print(all_property_details)

driver.quit()

代码说明 #

• 遍历房源: 先获取页面上所有的list-card-details元素，每套房源对应一个ul标签
• 提取单位与数值: 对每个li标签，先找到里面的abbr标签获取单位（比如bds、ba），再从li的文本中剥离单位和逗号，得到纯数字文本
• 类型转换: 将数字文本转为整数，存入字典；用try-except跳过无法转换的项（比如房源状态描述行）
• 批量处理: 所有房源的详情字典会被存入列表，方便后续批量分析（比如转成DataFrame）

运行这段代码后，你会得到期望的输出：

{'bds': 4, 'ba': 2, 'sqft': 2172}

内容的提问来源于stack exchange，提问作者user3476463