You need to enable JavaScript to run this app. Python3爬取vivino.com葡萄酒页面评论返回空数据问题求解
优惠活动
大模型
产品
解决方案
定价
更多

Python3爬取vivino.com葡萄酒页面评论返回空数据问题求解

问题原因
  • Vivino的社区评论内容不会在初始页面加载时直接嵌入HTML源码,属于动态渲染内容:初始请求仅返回页面框架,评论数据是页面加载完成后,前端通过异步API请求获取后渲染到页面上的,所以直接用requests.get()拿初始页面源码自然找不到all_reviews对应的节点。
可用解决方案

方案1:直接调用Vivino评论API(更推荐,速度更快)

不需要解析HTML,接口直接返回结构化JSON数据,示例代码如下:

import requests

# 葡萄酒ID可以从你原url里提取,示例里的是3823873,年份2017
wine_id = 3823873
year = 2017
api_url = f"https://www.vivino.com/api/wines/{wine_id}/reviews?per_page=50&page=1&year={year}"

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36',
    'Referer': 'https://www.vivino.com/'
}

response = requests.get(api_url, headers=headers)
reviews = response.json()["reviews"]
# 遍历输出评论内容
for review in reviews:
    print(f"用户:{review['user']['alias']},评分:{review['rating']},评论内容:{review['note']}")

注意:可以通过修改per_page和page参数控制每次获取的评论数量和分页,单次per_page最大支持50条,翻页直接改page数值即可。

方案2:使用Selenium模拟浏览器动态加载

如果不想抓接口,也可以用Selenium模拟浏览器滚动加载完整页面后再解析内容:

from bs4 import BeautifulSoup
from selenium import webdriver
import time

url = "https://www.vivino.com/FR/en/dauprat-pauillac/w/3823873?year=2017&price_id=24797287"
# 初始化浏览器驱动,需要提前安装对应浏览器的webdriver
driver = webdriver.Chrome()
driver.get(url)
# 模拟向下滚动到评论区域
driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);")
time.sleep(2) # 等待内容加载

soup = BeautifulSoup(driver.page_source, 'html.parser')
reviews = soup.find_all('div', class_='reviewCard__reviewNote') # 实际类名可根据自己爬取的页面结构调整
for review in reviews:
    print(review.text)

driver.quit()

注意:Selenium运行需要提前配置对应版本的浏览器驱动,运行速度比接口调用慢,适合小批量爬取场景。

内容的提问来源于stack exchange,提问作者Makoto Miyazaki

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 12:36:09