网站限制爬虫访问：无法获取目标HTML提取医学论文作者邮箱

核心问题原因 #

Cloudflare的安全验证会检测请求是否来自真实浏览器——requests库发送的请求缺少浏览器环境的JS执行能力、指纹特征，直接被拦截返回验证页面。

可行解决方法 #

1. 使用支持JS渲染的浏览器自动化工具 #

这类工具能模拟真实浏览器的行为（执行JS、生成浏览器指纹），绕过Cloudflare的基础验证。推荐用Playwright（配置更简洁，内置反检测机制），示例代码如下：

from playwright.sync_api import sync_playwright
from bs4 import BeautifulSoup

def get_sagepub_content(url):
    with sync_playwright() as p:
        # 启动无头浏览器，模拟Chrome
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
        )
        page = context.new_page()
        # 导航到目标页面，等待页面加载完成
        page.goto(url, wait_until="networkidle")
        # 获取页面HTML
        html = page.content()
        browser.close()
        
        # 后续用BeautifulSoup处理提取信息
        soup = BeautifulSoup(html, "html.parser")
        # 这里根据页面结构提取作者邮箱，需结合真实页面元素调整
        author_emails = []
        email_elements = soup.find_all(class_="author-email")
        for elem in email_elements:
            author_emails.append(elem.get_text(strip=True))
        return author_emails

# 调用函数
target_url = "https://journals.sagepub.com/doi/10.1177/2292550320967404"
emails = get_sagepub_content(target_url)
print(emails)

2. 优化请求头（辅助手段） #

如果暂时不想用浏览器自动化，先尝试完善请求头，模拟真实浏览器的请求特征，但这种方法仅对部分宽松的Cloudflare验证有效：

• 带上完整的User-Agent、Accept、Accept-Language、Referer字段
• 可手动从浏览器登录后复制Cookie字段（注意Cookie有效期有限）

示例请求头配置：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    "Referer": "https://journals.sagepub.com/",
    "Upgrade-Insecure-Requests": "1"
}

3. 控制请求频率 #

避免短时间内大量请求，添加随机延迟（比如time.sleep(random.uniform(2,5))），降低被判定为爬虫的概率。

注意事项 #

• 部分SagePub论文可能需要登录才能查看完整作者信息，若遇到这种情况，需要在浏览器自动化工具中模拟登录流程。
• 遵守网站的robots.txt规则和使用条款，避免过度爬取导致账号或IP被封禁。

内容的提问来源于stack exchange，提问作者Carter James