如何爬取Chrome应用商店指定扩展评论？代码请求报错400求解

能否爬取Chrome应用商店？ #

Chrome应用商店允许非商业化、符合其服务条款的爬取操作，但平台存在反爬机制，需遵循规则避免触发限制。

400错误的核心原因 #

1. 请求方式误用：你用requests.get()传递data参数是错误的——data是POST请求的表单参数载体，GET请求应使用params，且Chrome商店的登录并非简单表单提交，这种方式无法完成认证。
2. 缺少浏览器标识：未添加User-Agent等必要请求头，被服务器识别为非浏览器请求，直接返回400。
3. 评论动态加载：目标评论是JavaScript动态渲染的，静态HTML源码中不存在，直接用lxml解析无法获取内容。

解决步骤与示例代码 #

思路调整 #

• 用浏览器自动化工具（如Selenium/Playwright）模拟真实访问，等待评论加载完成后提取；
• 公开评论无需登录，无需传递账号密码；
• 添加请求间隔，模拟人类访问节奏。

Selenium示例代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

url = 'https://chrome.google.com/webstore/detail/cookie-editor/hlkenndednhfkekhgcdicdfddnkalmdm'

# 初始化Chrome浏览器（需提前下载对应版本的ChromeDriver）
driver = webdriver.Chrome()
driver.get(url)

try:
    # 滚动页面触发评论加载
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)
    # 等待评论元素加载完成
    first_review = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "ba-Eb-ba"))
    )
    print(first_review.text)
finally:
    driver.quit()

重要注意事项 #

• 控制请求频率，避免IP被封禁；
• 确保爬取行为仅用于非商业用途，符合Chrome应用商店服务条款；
• 页面元素类名可能随平台更新变化，需定期验证选择器有效性。

内容的提问来源于stack exchange，提问作者BitTad