Surge.sh无法修改robots.txt?默认禁用搜索引擎索引且无法替换,我遗漏了什么?
解决Surge.sh无法自定义robots.txt的问题
嘿,我之前也踩过这个坑!Surge.sh默认的robots.txt确实是固定死的,直接在项目根目录放自定义文件根本不会生效——它会强制返回那行User-agent: * Disallow: /的内容,目的是默认保护你的站点不被搜索引擎爬虫索引,毕竟很多人用它放开发中的草稿或者测试内容。
不过别担心,有两个靠谱的办法能绕开这个限制:
用自定义重定向规则(最推荐)
在项目根目录创建一个名为_redirects的文件,然后添加这一行规则:/robots.txt /custom-robots.txt 200接着把你自己写好的robots规则放到
custom-robots.txt文件里,部署的时候Surge就会自动把访问/robots.txt的请求,映射到你的自定义文件上,完美替换默认内容。针对单页应用的路由映射
如果你的站点是单页应用(SPA),也可以结合Surge的HTML5模式配置,在_redirects里做类似的映射,不过上面的方法对所有静态站点都适用,更通用。
需要注意的是,部署后最好用浏览器访问一下你的域名/robots.txt,确认返回的是你自定义的内容,避免因为文件路径或者拼写错误导致没生效。
内容的提问来源于stack exchange,提问作者user1050755
相关产品推荐
相关产品推荐

