爬取NASA Mars 2020毅力号火星天气页时获取marsDate返回空的问题咨询

这一返回空值的现象并非站点禁止爬虫导致，问题来源可分为两部分：

核心原因 #

• 测试代码存在明显逻辑缺失
  给出的测试代码里，在拿到网页响应后，完全没有执行BeautifulSoup解析的初始化步骤，直接引用了未定义的bsobj对象，正常运行会直接抛出NameError报错。如果实际测试时是漏写了这部分代码，后续的元素查找逻辑也需要匹配站点的实际加载规则才能正常运行。
• 目标内容为前端动态渲染
  毅力号天气页面的核心气象数据（包括火星日期、气温等信息）并非直接写在初始HTML源码中：通过requests直接拉取的初始页面里，class="marsDate"的span标签虽然存在，但内部是空的，真实的文本内容是页面加载完成后，前端JS调用后台数据接口、动态填充到标签里的，直接从初始HTML提取文本自然只会拿到空字符串。
• 站点无爬虫封禁逻辑
  判断是否为站点拦截的标准很直接：如果请求返回的状态码是200，没有出现403、429这类封禁类状态码，就不存在站点禁止爬取的情况。这个公开的气象观测站点本身没有设置严格的爬虫拦截规则。

可行的解决方向 #

• 补全基础逻辑：拿到响应对象后，需先执行bsobj = soup(html.text, 'html.parser')完成解析对象的初始化，再执行元素查找操作
• 适配动态加载机制：两种采集思路可选
  1. 跳过前端渲染环节，定位页面加载时调用的异步数据接口，直接请求接口获取结构化的火星日期、气象数据，无需额外解析HTML
  2. 使用支持JS渲染的爬取工具模拟完整的浏览器加载流程，等待动态内容全部渲染完成后，再提取目标元素的文本

内容的提问来源于stack exchange，提问作者Victor Resende