Gatsby静态站点PDF文件被谷歌索引，如何设置禁止索引？

针对你的情况，有几个直接有效的方案可以阻止谷歌索引你的PDF文件，按优先级排序如下：

1. 通过robots.txt禁止抓取PDF #

这是最简便的全局控制方法，适合批量禁止PDF或指定单个文件：

• 在Gatsby项目的static目录下创建或修改robots.txt文件
• 添加规则：

  User-agent: *
  Disallow: /files/file.pdf
  

  如果要禁止所有PDF，就改成Disallow: /*.pdf
• Gatsby构建时会自动把static目录下的文件复制到站点根目录，搜索引擎会读取这个文件来限制抓取

2. 给PDF下载链接添加nofollow属性 #

直接修改你现有a标签的代码，加上rel="nofollow"，告诉搜索引擎不要通过这个链接追踪抓取目标PDF：

import file from '../files/file.pdf';

<a
  className='hover:underline hover:text-black'
  href={file}
  download
  rel="nofollow"
>
  下载PDF
</a>

3. 设置HTTP响应头X-Robots-Tag: noindex #

如果你的站点部署在有服务器配置权限的平台（比如Netlify、Nginx），可以给PDF文件设置专属响应头，从服务器层面阻止索引：

• 若用Netlify，在项目根目录创建_headers文件，添加：

  /files/file.pdf
    X-Robots-Tag: noindex
  

• 若用Nginx，在配置文件中添加：

  location /files/file.pdf {
    add_header X-Robots-Tag "noindex";
  }
  

如果PDF已经被索引，完成上述设置后，还可以登录谷歌搜索控制台，提交移除请求加速清除索引。

内容的提问来源于stack exchange，提问作者dangr