Spring Java Web应用配置robots.txt到根路径而非上下文路径

你遇到的核心问题在于：你的应用部署在上下文路径/context下，所有Spring MVC的资源映射都是基于这个路径生效的，而谷歌爬虫会直接请求服务器根路径的/robots.txt——这部分请求并不会被你的Spring应用处理，而是由服务器（比如Tomcat）的默认ROOT应用接管，所以才会返回404错误。

下面给你几个可行的解决方案，你可以根据自身部署情况选择：

方案1：在服务器ROOT应用中放置robots.txt #

这是最简单直接的办法：

• 找到你服务器（比如Tomcat）的webapps/ROOT目录，把你的robots.txt文件复制到这里。
• 这样当爬虫请求localhost:8000/robots.txt时，服务器会直接返回ROOT目录下的这个文件，完全不需要修改你的应用代码或配置。
• 需要注意：如果同一台服务器上部署了多个应用，这个ROOT下的robots.txt会对所有应用生效，要确保内容符合所有应用的需求。

方案2：配置服务器URL重写规则（以Tomcat为例） #

如果你不想单独维护ROOT应用，可以通过服务器的重写规则，把根路径的/robots.txt请求转发到你的应用上下文路径下：

1. 在你的应用的WEB-INF目录下创建rewrite.config文件，添加以下规则（注意替换/context为你实际的上下文路径）：

   RewriteRule ^/robots.txt$ /context/robots.txt [L]
   

2. 在应用的web.xml中添加Rewrite Valve配置，让Tomcat启用重写功能：

   <Valve className="org.apache.catalina.valves.rewrite.RewriteValve" />
   

• 配置完成后，当爬虫请求localhost:8000/robots.txt时，服务器会自动将请求转发到/context/robots.txt，爬虫就能正常获取文件内容了。
• 这个方案的优点是所有配置都在你的应用内完成，不需要改动服务器的其他设置，Tomcat 7及以上版本默认支持该功能。

方案3：修改应用上下文路径为空（谨慎使用） #

如果你的业务允许，可以把应用直接部署在服务器的根路径（即上下文路径设为空）：

• 修改服务器的部署配置（比如Tomcat的server.xml里的<Context>标签，或者IDE的部署设置），将应用的上下文路径改为空。
• 之后把robots.txt放在应用的webapp目录下，就能直接通过localhost:8000/robots.txt访问了。
• 但这个方案会改变所有页面的访问路径，比如你的首页会从domain.com/context/firstpage.ac变成domain.com/firstpage.ac，需要确认业务是否接受这个变化。

另外补充一下：你之前尝试的<mvc:resources>配置无效，是因为这个配置仅负责映射应用上下文内部的路径，也就是它只能让/context/robots.txt可访问，无法影响服务器根路径的请求，所以对爬虫的请求不起作用。

内容的提问来源于stack exchange，提问作者Faure