为何BeautifulSoup爬取亚马逊评论时不同页面返回HTML不同？

核心原因 #

• 反爬机制拦截：亚马逊的反爬系统会识别异常请求。第一页请求可能因为初始访问没触发限制，返回正常页面；后续页码请求如果没有模拟真实浏览器的请求特征（比如缺UA、无会话Cookie、请求过快），会被判定为爬虫，返回的HTML会被混淆、简化甚至直接返回错误页面，自然找不到cm_cr-review_list这个核心元素。
• 动态渲染逻辑不同：第一页评论可能是服务器端直接渲染完整HTML后返回，而后续页码的评论是通过前端JavaScript异步加载的。requests只能获取静态HTML源码，拿不到JS加载后的内容，所以你看到的第二页HTML结构里根本没有评论列表。
• 分页参数构造错误：亚马逊的评论分页不是简单改个页码数字就行，真实的分页URL里可能包含会话token、签名、排序/筛选参数等动态内容。你手动修改页码构造的URL可能指向无效页面，返回的自然不是正常的评论页HTML。

可行的解决办法 #

• 模拟真实请求：用requests.Session()保持会话，添加和浏览器一致的User-Agent、Accept-Language等请求头，带上第一页请求时获取的Cookie，让请求看起来更像正常用户操作。
• 抓取真实分页链接：在浏览器里打开评论第二页，复制完整的URL，对比你自己构造的URL，补充缺失的参数，不要随便手动改页码。
• 改用动态渲染工具：如果确认是JS加载评论，直接用Selenium、Playwright这类工具模拟浏览器打开页面，等待JS渲染完成后再提取HTML；或者通过浏览器抓包找到评论数据的API接口，直接请求接口获取JSON格式的评论数据，比解析HTML效率更高也更稳定。

内容的提问来源于stack exchange，提问作者canonlaw