WHM虚拟主机下Google爬虫无法访问robots.txt的排查求助

各位大佬好，我遇到一个头疼的问题想请教大家：

我们有一台装了WHM的服务器，上面托管了不少虚拟主机站点。最近发现Google Analytics和Search Console都没法正常抓取页面，追根溯源后发现是Google爬虫访问不了站点的robots.txt文件。

这个robots.txt文件确实存在，而且我自己用浏览器访问完全正常，但Google那边只反馈请求返回了5xx错误，没有给出更具体的报错信息。我怀疑是WHM的防火墙或者类似的安全组件在拦Google的请求，但实在找不到问题出在哪。

我已经做了这些排查：

• 清空了CSF防火墙里的所有封禁IP列表，也确认端口洪水防护的选项是关闭的
• 检查了Apache虚拟主机的httpd.conf包含文件，没发现任何可能导致问题的规则

有没有大佬碰到过类似的情况？或者还有什么我没考虑到的排查方向？比如WHM里还有其他可能限制爬虫访问的配置项吗？

备注：内容来源于stack exchange，提问作者Mm-Art-In