Python Selenium抓取Booking酒店链接后遍历URL的相关问题
问题1:如何用DataFrame实现链接遍历
你当前读取csv生成的DataFrame只有一列列名为links,直接写for url in df只会遍历DataFrame的列名,无法拿到链接内容。正确写法是指定读取links列的数值:
for url in df['links']: results = requests.get(url, headers={'User-Agent': '替换为你浏览器的UA标识'}) # 后续解析逻辑
如果担心有空值/重复值,可以先做一步预处理:
# 去重+去除空值 df = df.dropna(subset=['links']).drop_duplicates(subset=['links'])
问题2:如何直接将链接存储为列表
你完全可以跳过存csv再读的步骤,直接在代码开头初始化一个空列表存储所有链接,抓取逻辑修改如下:
- 代码最开头加一行初始化列表:
all_links = []
- 抓取单页链接后,直接把当前页的链接追加到总列表中:
# 把原来写csv的部分替换成下面的代码 links = [my_elem.get_attribute("href").replace('\n','') for my_elem in my_elems] all_links.extend(links)
- 后续遍历直接用总列表即可:
for url in all_links: # 解析逻辑
如果怕中途脚本崩溃丢失已抓取的链接,也可以边抓边往列表存的同时,定期备份到csv文件,二者不冲突。
问题3:是否需要添加更多time.sleep()
不建议加更多固定的time.sleep(),固定等待要么时长不够导致元素未加载完成报错,要么太长浪费运行时间。更推荐的做法是用你已经导入的WebDriverWait做显式等待:
- 点击下一页后,等待下一页的酒店链接元素加载完成再执行抓取:
# 点击下一页后加这行,最多等10秒,直到酒店链接出现 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//a[@class="js-sr-hotel-link hotel_name_link url"]')))
- 请求酒店详情页时,可以加1-2秒的随机间隔,避免触发反爬:
import random # 每次请求前加 time.sleep(random.uniform(1,2))
如果一定要用固定sleep,只需要在点击下一页之后加2-3秒的等待即可,不需要额外加太多。
额外优化建议
- 你当前用的
driver.find_element_by_xpath是Selenium 4以下的旧写法,新版本已经弃用,建议统一换成driver.find_element(By.XPATH, '你的xpath')的写法,和你导入的By类匹配。 - 用requests请求详情页时一定要加请求头
User-Agent模拟浏览器,否则大概率会被Booking的反爬机制拦截,返回403错误。 - 翻页逻辑最好加异常判断,避免最后一页没有下一页按钮时报错终止脚本。
内容的提问来源于stack exchange,提问作者FalconMelee
相关产品推荐
相关产品推荐

