如何调用Vivino API端点爬取全球指定品种的葡萄酒数据
Vivino爬取问题解答
可行性结论
完全可以通过Vivino前端实际调用的Explore API端点爬取目标信息,无需用Selenium模拟滚动,从根源解决大结果量加载后的页面冻结问题。
四类目标字段与API返回结构的对应关系:
- 葡萄酒名称:直接取返回数据中的
vintage.name - 葡萄酒评分:直接取返回数据中的
vintage.statistics.ratings_average - 葡萄酒价格:直接取返回数据中的
price.amount - 酿酒葡萄品种:返回数据中
vintage.wine.grapes为数组结构,单品种酒取第一个元素即可,多品种酒可遍历数组拼接全量品种名
原有代码的问题与修改方案
原有代码仅能返回单国家数据的核心原因:Vivino的Explore API会自动根据请求出口IP的归属地,做隐式的地域结果过滤,同时原有代码存在会话复用不充分、未提取葡萄品种字段的问题。
要实现获取所有国家范围内Bobal(葡萄ID131)的目标数据,需调整3处逻辑:
- 在请求参数中显式声明无国家限制,关闭API默认的IP归属地过滤规则
- 在数据提取循环中补充葡萄品种字段的取值逻辑
- 统一使用初始化后的Session发送全部分页请求,保证cookie一致性,降低触发反爬风控的概率
修改后的完整代码
import requests import math import pandas as pd import time # 初始化会话,先请求首页获取基础校验cookie s = requests.Session() headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'} s.get('https://www.vivino.com/', headers=headers) # 目标接口地址 url = 'https://www.vivino.com/api/explore/explore' # 请求参数 payload = { 'grape_ids[]': '131', 'grape_filter': 'varietal', 'min_rating': '1', 'order_by': 'discount_percent', 'order': 'desc', 'page': '1', 'per_page': '100', 'price_range_max': '40', 'price_range_min': '5', 'country_codes[]': '' # 空值表示不限制国家,覆盖全地区结果 } # 首次请求获取总匹配数,计算总页数 jsonData = s.get(url, params=payload, headers=headers).json() total_pages = math.ceil(jsonData['explore_vintage']['records_matched'] / 100) rows = [] for page in range(1, total_pages + 1): if page != 1: payload.update({'page': page}) jsonData = s.get(url, params=payload, headers=headers).json() # 规避限流,每页请求间隔1秒 time.sleep(1) for each in jsonData['explore_vintage']['records']: # 提取四类目标字段 name = each['vintage']['name'] rating = each['vintage']['statistics']['ratings_average'] price = each['price']['amount'] grapes = ','.join([g['name'] for g in each['vintage']['wine']['grapes']]) rows.append({'name': name, 'rating': rating, 'price': price, 'grapes': grapes}) print(f'已采集{page}/{total_pages}页数据') df = pd.DataFrame(rows) # 控制台打印结果 print(df) # 如需导出为CSV可取消下方注释 # df.to_csv('bobal_all_country.csv', index=False, encoding='utf-8-sig')
说明:如果需要调整爬取的价格区间,直接修改payload里的
price_range_min和price_range_max参数即可;若出现接口429限流,可将请求间隔从1秒调整为2-3秒。
内容的提问来源于stack exchange,提问作者Regression1234
相关产品推荐
相关产品推荐

