使用Beautiful Soup提取Booking.com价格返回None问题求助

可能的原因及解决方法 #

1. 页面未完全加载就提取内容 #

直接调用driver.get(url)后立即获取页面源码，此时价格元素可能还未渲染完成，导致BeautifulSoup找不到目标节点。

解决方法：使用显式等待，等待目标元素加载完成后再提取源码：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver.get(url)
# 等待最多10秒，直到目标元素出现
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'span[data-testid="price-and-discounted-price"]')))

soup = BeautifulSoup(driver.page_source, 'html.parser')
price_span = soup.find("span", {"data-testid":"price-and-discounted-price"})
print(price_span.text if price_span else "未找到元素")

2. 元素定位方式不准确 #

• 手动打开浏览器开发者工具（F12），确认data-testid="price-and-discounted-price"是否为当前页面价格元素的正确属性，网站结构可能已更新。
• 如果页面存在多个价格元素，改用soup.find_all()获取所有匹配节点（soup.find()仅返回第一个匹配项）：

price_spans = soup.find_all("span", {"data-testid":"price-and-discounted-price"})
for span in price_spans:
    print(span.text.strip())

3. 触发反爬机制 #

Booking.com有严格的反爬策略，可能针对无头浏览器或异常请求返回空白内容。

解决方法：

• 给ChromeDriver添加模拟真实浏览器的配置：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
options.add_argument("--disable-blink-features=AutomationControlled")  # 禁用自动化检测
driver = webdriver.Chrome(options=options)

• 避免频繁请求，添加随机延迟：

import time
import random

driver.get(url)
time.sleep(random.uniform(3, 5))  # 随机等待3-5秒

4. URL构造参数错误 #

你的URL构造中，total_children对应的参数名缺失，原URL里该位置应该是group_children={}，参数错误可能导致页面未加载正确搜索结果，进而找不到价格元素。修正后的URL构造代码：

url = "https://www.booking.com/searchresults.en-gb.html?label=gen173nr-1BCAEoggI46AdIM1gEaFCIAQGYAQm4ARfIAQzYAQHoAQGIAgGoAgO4AqnamocGwAIB0gIkNGEyODNlYTYtYTM2Yi00M2Y3LWE2YjItM2RmYWFlMTM5ZWI22AIF4AIB&sid=44053b754f64b58cfdde1ddc395974a0&sb=1&sb_lp=1&src=index&src_elem=sb&error_url=https%3A%2F%2Fwww.booking.com%2Findex.en-gb.html%3Flabel%3Dgen173nr-1BCAEoggI46AdIM1gEaFCIAQGYAQm4ARfIAQzYAQHoAQGIAgGoAgO4AqnamocGwAIB0gIkNGEyODNlYTYtYTM2Yi00M2Y3LWE2YjItM2RmYWFlMTM5ZWI22AIF4AIB%3Bsid%3D44053b754f64b58cfdde1ddc395974a0%3Bsb_price_type%3Dtotal%26%3B&ss={}&is_ski_area=0&checkin_year={}&checkin_month={}&checkin_monthday={}&checkout_year={}&checkout_month={}&checkout_monthday={}&group_adults={}&group_children={}&no_rooms={}&b_h4u_keep_filters=&from_sf=1&dest_id=&dest_type=&search_pageview_id=1be740bf37ad0063&search_selected=false".format(
                                  destination,check_in_year,check_in_month,check_in_day,check_out_year,check_out_month,check_out_day,adults,total_children,num_rooms)

内容的提问来源于stack exchange，提问作者Neetesshhr