学术网站合规爬虫难题：非大厂如何合法获取公开学术数据？

我开发了一款基于Word2Vec语言模型结合BM25+的专业搜索引擎，聚焦科技类主题。为聚合相关资源并训练底层模型，需从维基百科和学术期刊爬取大量优质数据。自2022年启动项目以来，这项工作愈发困难：doi.org及多数学术期刊（甚至开源期刊）通过Cloudflare和验证码严格阻止爬虫访问（仅允许Bing或Google）。

我曾使用Python requests包，2022-2023年无需伪造请求或设置超时即可正常工作，后不得不迁移至带User-Agent伪造的Python cURL。即便设置宽松超时（每秒1次请求，不支持JavaScript，爬取部分期刊需数周）、遵循robots.txt规则（常存在编写问题）、仅爬取sitemap.xml内容，爬虫仍被doi.org持续拦截，且频繁遭众多期刊屏蔽。我尝试过Selenium/Chrome全链路伪造，但性能极差，还会无意义发送CSS/JS/字体请求，而我仅需HTML内容。

暂且不论为何阻止爬虫访问公共资助的公开研究论文，如今非谷歌类主体该如何无需隐藏地爬取网页？这些内容需被索引才能发挥作用，为何仅有GAFAM拥有此特权？

可行的解决办法 #

• 优先用官方开放API
  学术领域很多平台都有合法的开放API，比如CrossRef（专门处理DOI相关数据）、PubMed Central、arXiv的官方API，维基百科也有MediaWiki API。这些API都是平台主动开放的，不用爬取网页，直接调用就能拿到结构化数据，只要遵守请求速率限制，绝对不会被拦截，还省了解析HTML的功夫。
• 申请爬虫白名单
  不少期刊平台会给正规的学术索引、非商业搜索引擎项目开放白名单。你整理好自己的项目背景（比如非盈利、科技类搜索的定位），直接联系目标平台的客服或技术团队，说明你的用途和爬虫的合规性，申请加入白名单。甚至Cloudflare保护的网站，只要能证明你的爬虫不是恶意的，也有机会被放行。
• 优化爬虫的合规标识
  别再伪装成Google/Bing的UA了，直接在User-Agent里明确标注你的项目名称、联系方式（比如邮箱），让网站知道你是正规的爬虫而非恶意程序。同时严格遵守请求速率，比如改成每2-3秒一次请求，遇到429、503这类限流响应就自动暂停一段时间再重试，比单纯伪装UA管用得多。另外，请求头里加上Accept: text/html，明确告诉服务器你只需要HTML内容，避免触发不必要的资源加载。
• 用轻量工具替代Selenium
  如果必须处理需要JS渲染的页面，别用全量Chrome，试试Playwright或Pyppeteer的无头模式，然后配置拦截CSS、JS、图片、字体这类非必要请求，只加载HTML文档。这样性能比Selenium好太多，也不会做无用功。

关于GAFAM特权的疑问 #

目前大公司爬虫确实有特殊待遇，一方面是它们的爬虫行为规范、可追溯，且和很多平台有合作协议；另一方面，很多平台依赖这些大搜索引擎带来流量，所以会主动放行。但非商业、学术性质的项目，只要能证明自己的合法性和用途，不是恶意爬取，还是有机会获得权限的，关键是主动和平台沟通，保持合规操作。

内容的提问来源于stack exchange，提问作者Aurélien Pierre