如何用Selenium与BeautifulSoup爬取YouTube视频评论的点赞数?
问题根因与修复方案
导致点赞数提取计数为0的核心硬伤
- 编写的点赞数选择器存在两处拼写错误,完全无法匹配到对应页面元素:
- 元素id拼写错误:原代码中写的
#action-buttos,实际页面元素的id为action-buttons,缺少末尾字母n - 元素id拼写错误:原代码中写的
#tollbar,实际页面元素的id为toolbar,多插入了一个字母l
- 元素id拼写错误:原代码中写的
- 原有滚动加载逻辑存在遗漏:YouTube评论区的评论内容、操作栏元素(含点赞数)是分批次异步加载的,仅通过判断页面滚动高度不变就停止加载,可能导致部分评论对应的点赞数节点尚未渲染到页面中,进一步拉低匹配成功率
可直接落地的修正方式
- 替换修正拼写错误后的点赞数选择器,替换原有的likes选择逻辑:
likes = soup.select('ytd-comment-action-buttons-renderer#action-buttons > div#toolbar > span#vote-count-middle') - 优化滚动加载逻辑,增加评论节点数量的校验,确保所有评论的关联元素都加载完成:
- 每次滚动页面后,统计当前页面上已加载的评论内容节点数量
- 只有当连续两次统计的评论数量完全一致、且页面滚动高度不再变化时,才停止滚动
- 提取点赞数文本时,直接对匹配到的节点取
text.strip(),即可获取格式如1.2K的有效点赞数值
修正后无需依赖YouTube Data API,即可完整匹配到评论ID、评论内容、点赞数三类目标字段。
内容的提问来源于stack exchange,提问作者Letmesleep
相关产品推荐
相关产品推荐

