如何向搜索引擎爬虫开放网站文本权限，限制普通用户访问？

核心逻辑 #

放弃单一User-Agent识别，转而结合爬虫的请求行为特征做服务端判断，同时避免静态源码泄露内容的问题。

具体实现方法 #

• 校验请求行为特征：
  Googlebot这类正规爬虫只会请求页面的基础HTML，不会加载JS、CSS或其他附属资源，且请求头里的Accept字段会符合标准的网页接收格式。服务端可以记录请求链：如果仅请求了主HTML，且请求头组合匹配爬虫特征，返回完整预览文本；如果后续有JS/CSS的加载请求，就判定为普通浏览器，返回带付费提示的内容。
• 服务端动态返回内容：
  不要把预览文本直接写进静态HTML源码里，而是通过服务端接口动态注入。只有验证为爬虫的请求，接口才返回预览内容；普通浏览器请求时，接口返回空内容，前端自动展示付费弹窗或横幅。
• 利用爬虫不执行复杂JS的特性：
  在初始HTML里渲染预览内容，但页面加载完成后，用JS立即把该内容区块替换成付费提示。搜索引擎爬虫不会执行这段JS，所以能抓取到预览文本；普通用户的浏览器会执行JS，最终看到的是提示信息。
• IP+多维度校验：
  配合搜索引擎官方公布的爬虫IP段（比如Google发布的bot IP范围），结合UA、请求行为做三重校验，进一步提升安全性。注意IP段会更新，需要定期同步官方数据。

关键提醒 #

• 绝对不能返回和用户端完全不符的内容，否则违反搜索引擎的网页质量规则，可能导致网站被降权甚至移除索引。
• 所有校验逻辑必须放在服务端，前端的任何隐藏或替换逻辑都能被轻易绕过。

内容的提问来源于stack exchange，提问作者Tom Maier