You need to enable JavaScript to run this app. Python Selenium抓取Booking酒店链接后遍历URL的相关问题
优惠活动
大模型
产品
解决方案
定价
更多

Python Selenium抓取Booking酒店链接后遍历URL的相关问题

问题1:如何用DataFrame实现链接遍历

你当前读取csv生成的DataFrame只有一列列名为links,直接写for url in df只会遍历DataFrame的列名,无法拿到链接内容。正确写法是指定读取links列的数值:

for url in df['links']:
    results = requests.get(url, headers={'User-Agent': '替换为你浏览器的UA标识'})
    # 后续解析逻辑

如果担心有空值/重复值,可以先做一步预处理:

# 去重+去除空值
df = df.dropna(subset=['links']).drop_duplicates(subset=['links'])

问题2:如何直接将链接存储为列表

你完全可以跳过存csv再读的步骤,直接在代码开头初始化一个空列表存储所有链接,抓取逻辑修改如下:

  1. 代码最开头加一行初始化列表:
all_links = []
  1. 抓取单页链接后,直接把当前页的链接追加到总列表中:
# 把原来写csv的部分替换成下面的代码
links = [my_elem.get_attribute("href").replace('\n','') for my_elem in my_elems]
all_links.extend(links)
  1. 后续遍历直接用总列表即可:
for url in all_links:
    # 解析逻辑

如果怕中途脚本崩溃丢失已抓取的链接,也可以边抓边往列表存的同时,定期备份到csv文件,二者不冲突。


问题3:是否需要添加更多time.sleep()

不建议加更多固定的time.sleep(),固定等待要么时长不够导致元素未加载完成报错,要么太长浪费运行时间。更推荐的做法是用你已经导入的WebDriverWait做显式等待:

  • 点击下一页后,等待下一页的酒店链接元素加载完成再执行抓取:
# 点击下一页后加这行,最多等10秒,直到酒店链接出现
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//a[@class="js-sr-hotel-link hotel_name_link url"]')))
  • 请求酒店详情页时,可以加1-2秒的随机间隔,避免触发反爬:
import random
# 每次请求前加
time.sleep(random.uniform(1,2))

如果一定要用固定sleep,只需要在点击下一页之后加2-3秒的等待即可,不需要额外加太多。


额外优化建议

  1. 你当前用的driver.find_element_by_xpath是Selenium 4以下的旧写法,新版本已经弃用,建议统一换成driver.find_element(By.XPATH, '你的xpath')的写法,和你导入的By类匹配。
  2. 用requests请求详情页时一定要加请求头User-Agent模拟浏览器,否则大概率会被Booking的反爬机制拦截,返回403错误。
  3. 翻页逻辑最好加异常判断,避免最后一页没有下一页按钮时报错终止脚本。

内容的提问来源于stack exchange,提问作者FalconMelee

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 15:06:00