如何在Pinterest搜索关键词爬取帖子创建日期?我用Python开发
Pinterest 搜索场景下Python爬取帖子创建日期的实现路径
登录态页面无法看到帖子创建日期,核心原因是平台刻意将时间值从可见UI中移除,所有原始创建时间其实都存在于接口返回、隐藏DOM节点、页面内嵌数据块中,无需额外破解即可直接获取。
方法1:直接抓取XHR接口的原生时间字段
- 操作流程:在无痕窗口打开Pinterest搜索页,打开开发者工具的Network面板,筛选Fetch/XHR类型请求,滚动触发搜索结果加载,定位返回Pin列表的接口。
- 字段定位:接口返回的嵌套JSON结构中,每个独立的Pin实体都会携带
created_at字段,存储ISO格式的帖子原始创建时间,无前端篡改。 - Python实现逻辑:
- 用
requests库复刻该接口的请求头、合法Cookie参数发送请求,对返回的嵌套JSON做递归遍历,匹配同时包含created_at和id字段的Pin实体节点,提取对应时间值。 - 示例解析代码:
def parse_pin_time(data): if isinstance(data, dict): # 匹配Pin实体的专属标识 if data.get("id") and data.get("created_at"): return data["created_at"] for child in data.values(): result = parse_pin_time(child) if result: return result elif isinstance(data, list): for item in data: result = parse_pin_time(item) if result: return result return None
- 用
- 优势:获取的时间精度最高,和平台后台存储的原始创建时间完全一致,不需要等待页面渲染。
方法2:无头浏览器渲染后提取隐藏DOM的时间值
- 适用场景:不想维护复杂的XHR请求签名校验时使用。
- 操作流程:用
playwright或selenium启动无头浏览器,模拟普通用户的滚动加载行为,让页面完成所有Pin卡片的DOM渲染。 - 字段定位:每个Pin卡片内部都有隐藏的
<time>标签,标签的datetime属性存储了帖子创建时间,只是平台通过CSS将该标签做了视觉隐藏,肉眼无法直接看到。 - Python实现逻辑:
# Playwright 核心代码片段 page.goto("对应关键词的Pinterest搜索结果页链接") page.mouse.wheel(0, 2000) # 模拟滚动加载 pin_cards = page.locator("div[data-test-id='pin']") for card in pin_cards.all(): created_time = card.locator("time").get_attribute("datetime") - 优势:请求逻辑和普通用户访问完全一致,反爬识别难度更高。
方法3:解析页面内嵌的全局数据块
- 适用场景:爬取搜索结果首屏数据,不需要频繁发起XHR请求时使用。
- 操作流程:用
requests库直接请求搜索结果页的HTML源码,不需要额外模拟交互。 - 字段定位:页面HTML中会内置
window.__PWS_DATA__全局变量,存储了首屏所有搜索结果的完整结构化数据,里面同样包含每个Pin的created_at时间字段。 - Python实现逻辑:
- 用正则表达式匹配提取
window.__PWS_DATA__ =后的完整JSON字符串,直接解析结构提取时间字段即可。
- 用正则表达式匹配提取
- 优势:请求逻辑最简单,仅需要配置基础的User-Agent头,不需要维护复杂的Cookie和请求签名参数。
实操注意事项
- 所有提取到的创建时间均为UTC时区格式,做本地展示时需要做时区转换
- 爬取过程中控制请求间隔,避免短时间高频请求触发平台反爬规则
- 解析逻辑中增加异常捕获,针对已下架、无完整数据的Pin节点做兼容处理,避免单个节点解析失败中断全流程
内容的提问来源于stack exchange,提问作者skw0314
相关产品推荐
相关产品推荐

