You need to enable JavaScript to run this app. 如何在Pinterest搜索关键词爬取帖子创建日期?我用Python开发
优惠活动
大模型
产品
解决方案
定价
更多

如何在Pinterest搜索关键词爬取帖子创建日期?我用Python开发

Pinterest 搜索场景下Python爬取帖子创建日期的实现路径

登录态页面无法看到帖子创建日期,核心原因是平台刻意将时间值从可见UI中移除,所有原始创建时间其实都存在于接口返回、隐藏DOM节点、页面内嵌数据块中,无需额外破解即可直接获取。

方法1:直接抓取XHR接口的原生时间字段

  • 操作流程:在无痕窗口打开Pinterest搜索页,打开开发者工具的Network面板,筛选Fetch/XHR类型请求,滚动触发搜索结果加载,定位返回Pin列表的接口。
  • 字段定位:接口返回的嵌套JSON结构中,每个独立的Pin实体都会携带created_at字段,存储ISO格式的帖子原始创建时间,无前端篡改。
  • Python实现逻辑:
    • 用requests库复刻该接口的请求头、合法Cookie参数发送请求,对返回的嵌套JSON做递归遍历,匹配同时包含created_at和id字段的Pin实体节点,提取对应时间值。
    • 示例解析代码:
      def parse_pin_time(data):
          if isinstance(data, dict):
              # 匹配Pin实体的专属标识
              if data.get("id") and data.get("created_at"):
                  return data["created_at"]
              for child in data.values():
                  result = parse_pin_time(child)
                  if result:
                      return result
          elif isinstance(data, list):
              for item in data:
                  result = parse_pin_time(item)
                  if result:
                      return result
          return None
      
  • 优势:获取的时间精度最高,和平台后台存储的原始创建时间完全一致,不需要等待页面渲染。

方法2:无头浏览器渲染后提取隐藏DOM的时间值

  • 适用场景:不想维护复杂的XHR请求签名校验时使用。
  • 操作流程:用playwright或selenium启动无头浏览器,模拟普通用户的滚动加载行为,让页面完成所有Pin卡片的DOM渲染。
  • 字段定位:每个Pin卡片内部都有隐藏的<time>标签,标签的datetime属性存储了帖子创建时间,只是平台通过CSS将该标签做了视觉隐藏,肉眼无法直接看到。
  • Python实现逻辑:
    # Playwright 核心代码片段
    page.goto("对应关键词的Pinterest搜索结果页链接")
    page.mouse.wheel(0, 2000) # 模拟滚动加载
    pin_cards = page.locator("div[data-test-id='pin']")
    for card in pin_cards.all():
        created_time = card.locator("time").get_attribute("datetime")
    
  • 优势:请求逻辑和普通用户访问完全一致,反爬识别难度更高。

方法3:解析页面内嵌的全局数据块

  • 适用场景:爬取搜索结果首屏数据,不需要频繁发起XHR请求时使用。
  • 操作流程:用requests库直接请求搜索结果页的HTML源码,不需要额外模拟交互。
  • 字段定位:页面HTML中会内置window.__PWS_DATA__全局变量,存储了首屏所有搜索结果的完整结构化数据,里面同样包含每个Pin的created_at时间字段。
  • Python实现逻辑:
    • 用正则表达式匹配提取window.__PWS_DATA__ = 后的完整JSON字符串,直接解析结构提取时间字段即可。
  • 优势:请求逻辑最简单,仅需要配置基础的User-Agent头,不需要维护复杂的Cookie和请求签名参数。

实操注意事项

  • 所有提取到的创建时间均为UTC时区格式,做本地展示时需要做时区转换
  • 爬取过程中控制请求间隔,避免短时间高频请求触发平台反爬规则
  • 解析逻辑中增加异常捕获,针对已下架、无完整数据的Pin节点做兼容处理,避免单个节点解析失败中断全流程

内容的提问来源于stack exchange,提问作者skw0314

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 03:06:04