如何抓取网页评论中‘read more...’后的文本内容？

无需点击“read more...”抓取完整内容的情况 #

• 优先检查页面DOM结构：有些网站会把完整评论内容提前渲染在HTML的隐藏元素中（比如带display: none、hidden属性的标签），只是通过CSS控制只显示部分内容。你可以按下F12打开开发者工具，在Elements面板里搜索评论的完整关键词，确认是否存在未显示的完整文本。如果存在，直接用CSS选择器或XPATH定位该隐藏元素即可提取完整内容，无需点击按钮。
• 如果完整内容是在点击“read more...”后才从服务器异步加载的（AJAX请求），这种情况就必须触发点击动作才能获取完整数据。

需要点击“read more...”的处理方法 #

即使按钮位置随前文长度变化，只要它有稳定的标识特征，就能准确定位：

• 按文本定位（XPATH）：//*[normalize-space(text())='read more...']（用normalize-space处理可能的空格问题）
• 按固定class定位（CSS选择器）：比如按钮有固定类名read-more-trigger，就用.read-more-trigger
• 使用自动化工具（如Selenium、Playwright）执行点击操作，等待页面渲染完成后，再用CSS选择器/XPATH提取对应的完整评论文本。如果页面存在多个“read more”按钮，需要遍历每个按钮逐个处理，避免遗漏。

内容的提问来源于stack exchange，提问作者Carson