用BeautifulSoup爬取TripAdvisor评论时结果逐段重复的问题排查
问题成因
- URL拼接逻辑错误
使用split('Reviews')拆分URL时,作为分隔符的Reviews字符串会被丢弃,拼接时直接将or{i}插入到原Reviews的位置,生成的URL不符合TripAdvisor规则(例如i=0时生成的URL为https://www.tripadvisor.com.tr/Hotel_Review-g312737-d500556-or0-Flamingo_Hotel_Spa-xxx.html,缺少必要的Reviews标识),所有分页请求大概率被重定向回第一页,每次请求拿到的都是相同的初始页评论。 - 循环缩进错误
data=pd.DataFrame(yorumlar)和print(data.head())被错误放在了内层遍历单条评论的循环内部,每爬取1条评论就会把当前已积累的所有评论转成DataFrame并打印,直接导致输出逐行累加重复:爬第1条时打印1条,爬第2条时打印前2条,以此类推。yorumlar = []若未放在分页循环外层,会导致多页爬取时重复初始化列表,无法正常积累所有页的评论。
- 分页参数逻辑不严谨
第一页原URL虽可兼容or0参数,但拆分拼接时需保证Reviews字段完整保留,否则会触发站点重定向。
修正后代码
import requests import pandas as pd from bs4 import BeautifulSoup import time # 初始页面URL base_url = "https://www.tripadvisor.com.tr/Hotel_Review-g312737-d500556-Reviews-Flamingo_Hotel_Spa-Oludeniz_Mugla_Province_Turkish_Aegean_Coast.html" # 模拟浏览器请求头,避免被反爬拦截 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } def crawl_tripadvisor_reviews(max_page=3): # 拆分URL为前后两部分 url_parts = base_url.split('Reviews') url_prefix = url_parts[0] url_suffix = url_parts[1] # 全局存储所有评论,避免分页时清空 all_reviews = [] # 偏移量从0开始,每页递增5,爬取max_page页 for offset in range(0, max_page * 5, 5): # 拼接符合规则的分页URL,补回Reviews字段 target_url = f"{url_prefix}Reviews-or{offset}{url_suffix}" response = requests.get(target_url, headers=headers) soup = BeautifulSoup(response.content, "html.parser") # 提取当前页所有评论节点 review_nodes = soup.find_all("q", {"class": "IRsGHoPm"}) for node in review_nodes: # 清理文本前后空白 review_content = node.find("span").text.strip() all_reviews.append(review_content) # 每页请求后加2秒延时,降低反爬触发概率 time.sleep(2) # 所有评论爬取完成后再生成数据表并输出 review_df = pd.DataFrame(all_reviews, columns=["评论内容"]) print(review_df) return review_df # 调用函数,默认爬取3页共15条评论 crawl_tripadvisor_reviews()
核心修正点说明
- 拼接URL时补回了
Reviews字段,分页参数直接附加在Reviews之后,完全匹配站点URL结构。 - 全局评论列表
all_reviews放在分页循环外层,跨页保留所有爬取到的内容。 - DataFrame生成和打印操作放在所有循环外层,爬取完全部内容后再统一输出,不会出现逐行累加的重复打印问题。
- 补充了模拟浏览器的请求头,避免被站点默认拦截无UA的爬虫请求。
- 替换了
list这类Python内置类型作为变量名的写法,避免潜在的变量覆盖问题。
内容的提问来源于stack exchange,提问作者eVAL onger
相关产品推荐
相关产品推荐

