You need to enable JavaScript to run this app. Selenium爬取TripAdvisor评论时调用element.text获取内容为空
优惠活动
大模型
产品
解决方案
定价
更多

Selenium爬取TripAdvisor评论时调用element.text获取内容为空

问题成因

两个核心行为差异直接导致了空值返回:

  • Selenium元素的.text属性,仅能返回处于可见渲染状态的元素文本。如果元素被CSS设置为display: none、visibility: hidden等隐藏规则,哪怕DOM中存储了完整文本,.text也会返回空字符串。
  • driver.page_source是对当前DOM树的全量序列化输出,不受元素可见性约束,因此哪怕元素被隐藏,其内部的评论文本也会完整出现在打印结果中,和.text的读取逻辑不存在矛盾。

结合TripAdvisor的页面机制:postSnippet类对应的元素默认就是隐藏状态,只有当用户点击「More」按钮触发交互后,页面才会将该元素切换为可见,和前面截断展示的评论文本拼接成完整内容。未触发点击操作、元素仍处于隐藏态时直接读取.text,自然会拿到全空结果。

解决方案

无需逐个点击「More」按钮触发元素显示,直接读取DOM层存储的文本即可,用get_attribute("textContent")替代.text读取:

  • 该属性直接从DOM节点读取存储的完整文本,不受元素当前显示/隐藏状态影响
  • 调整后的核心代码片段:
from selenium.webdriver.common.by import By

# 兼容新版Selenium的元素定位写法
target_elements = driver.find_elements(By.CLASS_NAME, 'postSnippet')
# 替换text属性为textContent属性读取
print([elem.get_attribute("textContent") for elem in target_elements])
补充提示
  • 旧版本Selenium提供的find_elements_by_class_name系列定位写法已被标记为废弃,替换为带By参数的写法兼容性更好
  • 如果后续需要模拟点击「More」按钮等交互操作,需要等待元素渲染为可交互状态后再执行动作,否则会触发元素不可达的操作报错

内容的提问来源于stack exchange,提问作者Anthony Ter

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 05:45:04