基于requests_html实现YouTube全量滚动爬取与视频信息整合
YouTube非官方API爬取问题落地方案
仅获取20条搜索结果的滚动加载问题修复
现有代码依赖render()方法自带的scrolldown参数实现滚动失效,核心原因是内置滚动逻辑不匹配YouTube无限加载的触发规则:滚动速度快、无加载等待、无终止判断,导致页面未完成新内容请求就触发下一次滚动,最终只能停留在首屏的20条结果。
具体可落地的调整逻辑:
- 废弃内置
scrolldown参数,通过render()方法注入自定义滚动脚本,实现带等待的循环滚动:
- 页面首次渲染完成后,预留4秒等待首屏DOM完全挂载
- 循环执行滚动动作:将页面滚动条位置设置为页面总高度,每次滚动完成后等待2.5秒,给YouTube的异步内容加载留足响应时间
- 增加循环终止判断:连续2次滚动操作完成后,已采集到的视频条目数没有新增,就终止滚动逻辑,避免无效循环
- 保持HTMLSession实例的全流程复用,不重建请求上下文,请求时携带标准桌面端Chrome的UA标识,降低触发人机验证的概率
- 全程不调用YouTube官方API,所有内容均从渲染完成的DOM节点中提取,匹配指定搜索链接
https://www.youtube.com/results?search_query=cute+dogs&sp=EggIBRABGAEwAQ%253D%253D的全量内容加载要求
视频字段结构化提取实现
基于已定位的#overlays节点,无需重新切换选择器,直接基于视频卡片的DOM层级实现三字段的字典整合,避免正则匹配的不稳定性:
- 先统一梳理单视频卡片内各字段的固定选择器,在当前卡片的作用域内提取,避免全局匹配串数据:
- 视频标题:取卡片内
#video-title节点的非空文本内容 - 视频跳转链接:取上述
#video-title节点的href属性值,拼接YouTube域名前缀补全为完整可访问链接 - 视频发布时长:取卡片内元信息区第一个样式为
.style-scope的span节点文本,保留原始的相对发布时长表述 - 结构化存储流程:
- 所有滚动加载动作完成后,再统一遍历全量视频卡片节点,不边滚动边提取,避免重复条目混入
- 每个卡片单独做字段校验,某类字段提取失败时给对应字段赋值空字符串,不中断整体提取流程
- 过滤非搜索结果的广告、推荐位内容:判断卡片节点是否存在有效视频跳转链接,无链接的节点直接跳过
- 最终整合为统一的结构化字典列表,参考格式:
video_result = [ { "title": "示例视频标题", "url": "https://www.youtube.com/watch?v=xxx", "publish_time": "2周前" } ]
内容的提问来源于stack exchange,提问作者alex hernandez
相关产品推荐
相关产品推荐

