如何防止密码保护的Github网站内页出现在谷歌搜索结果中

你当前使用的前端密码保护方案属于纯客户端校验逻辑，页面所有明文内容在首次加载时就已经完整发送到访问端，JS密码校验仅做了前端层面的内容遮挡，没有在服务端拦截未授权请求。谷歌爬虫不会执行这套密码校验流程，会直接抓取页面完整静态内容完成收录，普通用户也可以通过禁用JS、查看页面源码等方式直接绕过密码访问内容。

1. 快速拦截合规搜索引擎抓取（仅防收录，不防内容泄露） #

在站点根目录上传robots.txt文件，写入以下规则，告知所有合规爬虫不要抓取站点对应内容：

# 屏蔽整站抓取
User-agent: *
Disallow: /

# 如果仅需屏蔽特定内页路径，可替换为对应路径规则，例如
# Disallow: /posts/
# Disallow: /private/

• 该方案仅对谷歌、必应等遵守robots协议的正规搜索引擎有效，无法阻止恶意爬虫抓取，也无法解决普通用户绕过密码访问的问题。
• 已经被谷歌收录的内容，需要到谷歌搜索资源平台提交网址移除申请，配合robots规则一般1-4周内会从搜索结果中清除。

2. 边缘层访问鉴权（彻底解决收录和未授权访问问题） #

放弃纯前端密码校验的方案，在静态资源请求的边缘节点层增加密码校验逻辑：

• 未输入正确密码的请求，根本拿不到任何页面静态资源，不管是爬虫还是普通用户，没有密码都无法获取页面内容，从根源上避免内容被抓取、被绕过访问。
• 该方案不需要你修改现有页面代码，只需要给站点套一层带访问控制的边缘加速/代理服务即可，配置门槛很低。

3. 静态内容全量加密（适配纯静态托管场景） #

如果要继续使用Github Pages这类不支持服务端/边缘配置的纯静态托管，可以改造现有加密逻辑：

• 不要把明文内容直接写在HTML里，将所有页面正文用对称加密算法转成密文存在静态文件中
• 用户输入正确密码后，前端JS才用密码作为密钥解密密文、渲染页面内容
• 这种场景下爬虫抓取到的所有内容都是无意义的密文，无法解析收录，普通用户没有密码也看不到明文内容
• 注意你当前使用的开源项目仅做了内容显示隐藏，没有做真正的内容加密，必须改造加密逻辑才能生效。

所有纯前端的显示/隐藏类密码保护都没有真正的安全防护能力，只要明文内容随静态资源下发，就一定会存在被爬虫抓取、被用户绕过访问的风险，如果内容本身需要保密，不要使用这类方案。

内容的提问来源于stack exchange，提问作者roarsandmeows