You need to enable JavaScript to run this app. 用BeautifulSoup爬取TripAdvisor评论时结果逐段重复的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

用BeautifulSoup爬取TripAdvisor评论时结果逐段重复的问题排查

问题成因

  • URL拼接逻辑错误
    使用split('Reviews')拆分URL时,作为分隔符的Reviews字符串会被丢弃,拼接时直接将or{i}插入到原Reviews的位置,生成的URL不符合TripAdvisor规则(例如i=0时生成的URL为https://www.tripadvisor.com.tr/Hotel_Review-g312737-d500556-or0-Flamingo_Hotel_Spa-xxx.html,缺少必要的Reviews标识),所有分页请求大概率被重定向回第一页,每次请求拿到的都是相同的初始页评论。
  • 循环缩进错误
    1. data=pd.DataFrame(yorumlar)和print(data.head())被错误放在了内层遍历单条评论的循环内部,每爬取1条评论就会把当前已积累的所有评论转成DataFrame并打印,直接导致输出逐行累加重复:爬第1条时打印1条,爬第2条时打印前2条,以此类推。
    2. yorumlar = [] 若未放在分页循环外层,会导致多页爬取时重复初始化列表,无法正常积累所有页的评论。
  • 分页参数逻辑不严谨
    第一页原URL虽可兼容or0参数,但拆分拼接时需保证Reviews字段完整保留,否则会触发站点重定向。

修正后代码

import requests
import pandas as pd
from bs4 import BeautifulSoup
import time

# 初始页面URL
base_url = "https://www.tripadvisor.com.tr/Hotel_Review-g312737-d500556-Reviews-Flamingo_Hotel_Spa-Oludeniz_Mugla_Province_Turkish_Aegean_Coast.html"
# 模拟浏览器请求头,避免被反爬拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

def crawl_tripadvisor_reviews(max_page=3):
    # 拆分URL为前后两部分
    url_parts = base_url.split('Reviews')
    url_prefix = url_parts[0]
    url_suffix = url_parts[1]
    # 全局存储所有评论,避免分页时清空
    all_reviews = []

    # 偏移量从0开始,每页递增5,爬取max_page页
    for offset in range(0, max_page * 5, 5):
        # 拼接符合规则的分页URL,补回Reviews字段
        target_url = f"{url_prefix}Reviews-or{offset}{url_suffix}"
        response = requests.get(target_url, headers=headers)
        soup = BeautifulSoup(response.content, "html.parser")
        # 提取当前页所有评论节点
        review_nodes = soup.find_all("q", {"class": "IRsGHoPm"})
        for node in review_nodes:
            # 清理文本前后空白
            review_content = node.find("span").text.strip()
            all_reviews.append(review_content)
        # 每页请求后加2秒延时,降低反爬触发概率
        time.sleep(2)

    # 所有评论爬取完成后再生成数据表并输出
    review_df = pd.DataFrame(all_reviews, columns=["评论内容"])
    print(review_df)
    return review_df

# 调用函数,默认爬取3页共15条评论
crawl_tripadvisor_reviews()

核心修正点说明

  • 拼接URL时补回了Reviews字段,分页参数直接附加在Reviews之后,完全匹配站点URL结构。
  • 全局评论列表all_reviews放在分页循环外层,跨页保留所有爬取到的内容。
  • DataFrame生成和打印操作放在所有循环外层,爬取完全部内容后再统一输出,不会出现逐行累加的重复打印问题。
  • 补充了模拟浏览器的请求头,避免被站点默认拦截无UA的爬虫请求。
  • 替换了list这类Python内置类型作为变量名的写法,避免潜在的变量覆盖问题。

内容的提问来源于stack exchange,提问作者eVAL onger

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 09:54:07