Google爬虫访问网站返回403错误 排查与临时解决记录

问题详情 #

• 网站：rattlestork.org
• 核心错误：Google Search Console近期抓取页面时返回「Failed: Blocked due to access forbidden (403)」，该问题自2月21日左右出现
• 技术环境：MEAN栈，使用Docker容器部署Express服务器，未配置Nginx或Apache反向代理，托管于Hetzner云服务器，服务器未安装防火墙
• robots.txt配置：

User-agent: * 
Allow: /

• 其他情况：移除robots.txt后问题仍未解决；Google Analytics等其他Google服务运行正常

排查与解决 #

• 测试排查：通过网站状态检测工具发现服务器存在协议兼容问题，提示信息如下：

Missing ALPN Protocol, expected `h2` to be available. If this is a HTTP request: The server was not configured with the `allowHTTP1` option or a listener for the `unknownProtocol` event.

• 临时修复：将服务器协议回退到HTTP/1后，GoogleBot的403抓取错误消失
• 后续优化方向：计划实现HTTP/2协议兼容，并确保HTTP/1回退机制正常（目前已设置allowHttp1: true但未解决问题）

内容的提问来源于stack exchange，提问作者RattleStork.org