Python3爬取vivino.com葡萄酒页面评论返回空数据问题求解
问题原因
- Vivino的社区评论内容不会在初始页面加载时直接嵌入HTML源码,属于动态渲染内容:初始请求仅返回页面框架,评论数据是页面加载完成后,前端通过异步API请求获取后渲染到页面上的,所以直接用
requests.get()拿初始页面源码自然找不到all_reviews对应的节点。
可用解决方案
方案1:直接调用Vivino评论API(更推荐,速度更快)
不需要解析HTML,接口直接返回结构化JSON数据,示例代码如下:
import requests # 葡萄酒ID可以从你原url里提取,示例里的是3823873,年份2017 wine_id = 3823873 year = 2017 api_url = f"https://www.vivino.com/api/wines/{wine_id}/reviews?per_page=50&page=1&year={year}" headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36', 'Referer': 'https://www.vivino.com/' } response = requests.get(api_url, headers=headers) reviews = response.json()["reviews"] # 遍历输出评论内容 for review in reviews: print(f"用户:{review['user']['alias']},评分:{review['rating']},评论内容:{review['note']}")
注意:可以通过修改
per_page和page参数控制每次获取的评论数量和分页,单次per_page最大支持50条,翻页直接改page数值即可。
方案2:使用Selenium模拟浏览器动态加载
如果不想抓接口,也可以用Selenium模拟浏览器滚动加载完整页面后再解析内容:
from bs4 import BeautifulSoup from selenium import webdriver import time url = "https://www.vivino.com/FR/en/dauprat-pauillac/w/3823873?year=2017&price_id=24797287" # 初始化浏览器驱动,需要提前安装对应浏览器的webdriver driver = webdriver.Chrome() driver.get(url) # 模拟向下滚动到评论区域 driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);") time.sleep(2) # 等待内容加载 soup = BeautifulSoup(driver.page_source, 'html.parser') reviews = soup.find_all('div', class_='reviewCard__reviewNote') # 实际类名可根据自己爬取的页面结构调整 for review in reviews: print(review.text) driver.quit()
注意:Selenium运行需要提前配置对应版本的浏览器驱动,运行速度比接口调用慢,适合小批量爬取场景。
内容的提问来源于stack exchange,提问作者Makoto Miyazaki
相关产品推荐
相关产品推荐

