如何在Nuxt.js中实现robots.txt？存放位置存疑

核心结论 #

robots.txt 必须放在网站的服务器根目录，也就是能通过 https://你的域名/robots.txt 直接访问的路径。代码根目录只是本地开发的结构，最终部署时要确保该文件被映射到服务器的根路径下。

Nuxt 2 实现方式 #

• 直接在项目根目录的 static 文件夹下创建 robots.txt，写入你的爬虫规则，比如：

User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://你的域名/sitemap.xml

Nuxt 打包时会自动将 static 目录下的所有文件复制到生成的 dist 目录（部署后的服务器根目录），无需额外配置。

Nuxt 3 实现方式 #

静态文件方式（推荐，规则固定时）

在项目根目录的 public 文件夹下创建 robots.txt，写入规则即可。Nuxt 3 会将 public 目录的文件直接部署到服务器根路径，访问 https://你的域名/robots.txt 就能获取。

动态生成方式（规则需根据环境切换时）

如果需要根据开发/生产环境调整规则，可以通过服务器路由动态生成：

1. 在 server/routes 目录下创建 robots.txt.ts 文件
2. 写入以下代码（可根据需求修改内容）：

export default defineEventHandler(() => {
  const isProduction = process.env.NODE_ENV === 'production';
  const disallowPaths = isProduction ? '/private/' : '/';

  const content = `User-agent: *
Allow: /
Disallow: ${disallowPaths}
Sitemap: https://你的域名/sitemap.xml`;

  return new Response(content, {
    headers: {
      'Content-Type': 'text/plain',
    },
  });
});

部署后访问 /robots.txt 会返回动态生成的规则。

验证方法 #

部署完成后，直接在浏览器访问 https://你的域名/robots.txt，能正常显示你设置的规则即为配置成功。

内容的提问来源于stack exchange，提问作者tomasraigal