You need to enable JavaScript to run this app. 基于requests_html实现YouTube全量滚动爬取与视频信息整合
优惠活动
大模型
产品
解决方案
定价
更多

基于requests_html实现YouTube全量滚动爬取与视频信息整合

YouTube非官方API爬取问题落地方案

仅获取20条搜索结果的滚动加载问题修复

现有代码依赖render()方法自带的scrolldown参数实现滚动失效,核心原因是内置滚动逻辑不匹配YouTube无限加载的触发规则:滚动速度快、无加载等待、无终止判断,导致页面未完成新内容请求就触发下一次滚动,最终只能停留在首屏的20条结果。
具体可落地的调整逻辑:

  • 废弃内置scrolldown参数,通过render()方法注入自定义滚动脚本,实现带等待的循环滚动:
  1. 页面首次渲染完成后,预留4秒等待首屏DOM完全挂载
  2. 循环执行滚动动作:将页面滚动条位置设置为页面总高度,每次滚动完成后等待2.5秒,给YouTube的异步内容加载留足响应时间
  3. 增加循环终止判断:连续2次滚动操作完成后,已采集到的视频条目数没有新增,就终止滚动逻辑,避免无效循环
  • 保持HTMLSession实例的全流程复用,不重建请求上下文,请求时携带标准桌面端Chrome的UA标识,降低触发人机验证的概率
  • 全程不调用YouTube官方API,所有内容均从渲染完成的DOM节点中提取,匹配指定搜索链接https://www.youtube.com/results?search_query=cute+dogs&sp=EggIBRABGAEwAQ%253D%253D的全量内容加载要求

视频字段结构化提取实现

基于已定位的#overlays节点,无需重新切换选择器,直接基于视频卡片的DOM层级实现三字段的字典整合,避免正则匹配的不稳定性:

  • 先统一梳理单视频卡片内各字段的固定选择器,在当前卡片的作用域内提取,避免全局匹配串数据:
  • 视频标题:取卡片内#video-title节点的非空文本内容
  • 视频跳转链接:取上述#video-title节点的href属性值,拼接YouTube域名前缀补全为完整可访问链接
  • 视频发布时长:取卡片内元信息区第一个样式为.style-scope的span节点文本,保留原始的相对发布时长表述
  • 结构化存储流程:
  1. 所有滚动加载动作完成后,再统一遍历全量视频卡片节点,不边滚动边提取,避免重复条目混入
  2. 每个卡片单独做字段校验,某类字段提取失败时给对应字段赋值空字符串,不中断整体提取流程
  3. 过滤非搜索结果的广告、推荐位内容:判断卡片节点是否存在有效视频跳转链接,无链接的节点直接跳过
  4. 最终整合为统一的结构化字典列表,参考格式:
video_result = [
    {
        "title": "示例视频标题",
        "url": "https://www.youtube.com/watch?v=xxx",
        "publish_time": "2周前"
    }
]

内容的提问来源于stack exchange,提问作者alex hernandez

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 02:54:03