使用Python+BeautifulSoup在Jupyter Notebook爬取SEC网页文本失败如何解决

• 未配置合法请求头：SEC官方有反爬限制，直接发送无User-Agent的请求会被拦截，返回的是错误验证页面而非目标文档内容，自然无法提取到有效文本。
• 目标URL为交互式iXBRL页面：你第二次使用的带ix?doc=前缀的URL是SEC的交互式财报页面，核心内容需要浏览器执行JS渲染后才会生成，直接请求得到的原始HTML里不存在你要的可见文本，BeautifulSoup作为静态HTML解析工具无法处理JS渲染内容。
• 选择器逻辑错误：div ~ div ~ div ~ div是CSS相邻兄弟选择器，匹配的是前面有三个同级div的div元素，完全不符合SEC财报的正文结构，无法匹配到目标内容。

方案1：使用静态版本财报（推荐，无需处理动态渲染） #

SEC的所有iXBRL交互式财报都对应纯静态HTML版本，直接把URL里的ix?doc=前缀删除，就可以得到静态文档地址，不需要JS渲染，直接用requests+BeautifulSoup即可提取。

import requests
from bs4 import BeautifulSoup

# 配置请求头，必须带User-Agent，否则会被SEC拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

# 示例用静态版本财报URL，就是把你第二个URL的ix?doc=前缀去掉
url = "https://www.sec.gov/Archives/edgar/data/0001652044/000165204420000008/goog10-k2019.htm"
resp = requests.get(url, headers=headers)
resp.encoding = "utf-8"

soup = BeautifulSoup(resp.text, "lxml")
# 提取全部文本，再处理多余空白
full_text = soup.get_text(separator="\n", strip=True)
print(full_text)
# 如果需要保存到文件可以用下面的代码
# with open("sec_full_text.txt", "w", encoding="utf-8") as f:
#     f.write(full_text)

方案2：必须爬取交互式页面的处理方法 #

如果确实需要提取交互式页面渲染后的内容，需要使用支持JS渲染的工具，比如Selenium、Playwright模拟浏览器加载页面，等内容全部渲染完成后再提取源码解析。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

chrome_options = Options()
chrome_options.add_argument("--headless=new") # 无头模式不弹出浏览器
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=chrome_options)
url = "https://www.sec.gov/ix?doc=/Archives/edgar/data/0001652044/000165204420000008/goog10-k2019.htm#s807E96E4803A5E6491A43170CDE7BAF8"
driver.get(url)
# 等待页面渲染完成，也可以用显式等待更稳定
driver.implicitly_wait(10)

page_source = driver.page_source
driver.quit()

soup = BeautifulSoup(page_source, "lxml")
full_text = soup.get_text(separator="\n", strip=True)
print(full_text)

内容的提问来源于stack exchange，提问作者arielsha111