使用BeautifulSoup开发爬虫无法获取指定Div内文本？试.text和.strip()无效求建议

常见原因及对应修复步骤 #

• 修正请求参数错误：当前代码调用requests.get时传入的请求头参数名为header，但requests库的对应参数名是headers，参数名错误会导致自定义请求头完全不生效，极易被站点反爬拦截拿到异常响应页面。
• 校验响应内容合法性：拿到响应后可先打印page.text，检索是否包含Valuations_0_LimitedPropertyValue这个id标识，如果完全检索不到，要么是请求头未生效被拦截，要么是目标节点内容为前端异步动态加载（requests仅能获取初始返回的静态HTML，无法提取JS渲染后的内容）。
• 优化节点提取逻辑：如果能定位到目标节点但文本提取为空，可以用get_text(strip=True)替代text.strip()，该方法对嵌套子标签的文本提取兼容性更好；同时建议先对查找结果做判空处理，避免节点不存在时直接调用方法报错。

修正后基础代码示例 #

import requests
from bs4 import BeautifulSoup

URL = 'https://preview.mcassessor.maricopa.gov/mcs/?q=504-39-014'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
value = soup.find("div", {"id": "Valuations_0_LimitedPropertyValue"})

if value:
    print(value.get_text(strip=True))
else:
    print("未匹配到目标div节点")

动态渲染场景适配方案 #

如果运行上述代码仍无法获取有效内容，说明目标内容为前端JS动态渲染，可选择以下两种方案处理：

• 方案一：通过浏览器开发者工具的网络面板，定位页面加载时异步请求的结构化数据接口，直接构造请求获取JSON格式的原始数据，提取效率远高于页面渲染。
• 方案二：使用Playwright、Selenium这类无头浏览器工具，模拟真实浏览器加载完整页面，等待目标节点渲染完成后再执行文本提取操作。

内容的提问来源于stack exchange，提问作者Taylor29