无法抓取Google Cloud合作伙伴页面完整HTML，求解决方法

你的判断没错，这个页面是JS动态渲染的单页应用（SPA），requests只能获取到服务器返回的初始静态HTML（也就是你看到的只有<app-root>的内容），实际页面内容是浏览器加载JS后动态生成的。要拿到完整渲染后的HTML，得用能模拟浏览器执行JS的工具，下面是两种常用方案：

方案一：使用Selenium #

Selenium可以模拟真实浏览器的行为，自动加载并执行页面JS，获取渲染后的完整HTML。

1. 先安装依赖：

pip install selenium

2. 下载对应浏览器的驱动（比如ChromeDriver，要和你的Chrome版本匹配），并确保驱动路径能被Python找到。
3. 示例代码：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = 'https://cloud.google.com/find-a-partner/partner/quantiphi-inc'

# 初始化Chrome浏览器驱动
driver = webdriver.Chrome()
driver.get(url)

# 等待页面关键元素加载完成（可根据页面实际元素调整等待条件）
try:
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'partner-details'))
    )
except:
    pass

# 获取渲染后的完整页面源码
page_source = driver.page_source
driver.quit()

# 用BeautifulSoup解析源码
doc = BeautifulSoup(page_source, "html.parser")
print(doc.prettify())

方案二：使用Playwright #

Playwright是微软推出的自动化工具，相比Selenium更简洁，无需手动下载浏览器驱动，支持多浏览器。

1. 安装依赖：

pip install playwright
playwright install  # 自动安装Chrome、Firefox等浏览器

2. 示例代码：

from bs4 import BeautifulSoup
from playwright.sync_api import sync_playwright

url = 'https://cloud.google.com/find-a-partner/partner/quantiphi-inc'

with sync_playwright() as p:
    # 启动Chrome浏览器（headless=False可显示窗口，方便调试）
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto(url)
    
    # 等待目标元素加载完成
    page.wait_for_selector('.partner-details')
    
    # 获取完整页面源码
    page_source = page.content()
    browser.close()

# 解析源码
doc = BeautifulSoup(page_source, "html.parser")
print(doc.prettify())

注意事项 #

• 抓取前务必查看目标网站的robots.txt和服务条款，确保抓取行为合规，避免触发反爬机制导致IP被封禁。
• 可根据页面实际加载速度调整等待时间或等待条件，确保内容完全渲染后再获取源码。

内容的提问来源于stack exchange，提问作者Guilherme Knorst Magnago