如何屏蔽TinEye蜘蛛？是否有类似用robots.txt屏蔽谷歌图片搜索的方法

这套屏蔽逻辑和你已经掌握的robots.txt屏蔽谷歌图片搜索抓取的方法完全一致，无需额外开发或配置专门的拦截规则，可直接复用你现有的robots.txt配置体系实现阻止站点被TinEye抓取建索引的目标。

你只需要在站点根目录的robots.txt文件中，针对TinEye爬虫对应的公开用户代理标识追加Disallow规则即可，基础配置示例如下：

# 可直接追加到现有robots.txt内容末尾，不会影响原有已配置的其他爬虫规则
User-agent: TinEye-bot/1.0
Disallow: /

User-agent: TinEye
Disallow: /

这两个用户代理标识是TinEye官方公开的、用于全站图像抓取建立检索索引的固定标识，可覆盖其绝大多数关联爬虫的访问请求。

• 按照通用robots协议规范，TinEye爬虫会定期主动拉取站点根路径下的规则文件，读取到屏蔽规则后就会停止对站点内容的抓取，不需要单独向平台提交特殊屏蔽申请
• 如果你不需要做全站点范围的屏蔽，仅需拦截指定目录下的内容，可将规则中的Disallow: /替换为对应需要拦截的目录路径，其余对普通搜索引擎开放的规则可保留原有配置
• 配置完成后需确认robots.txt文件可通过站点根域名正常公开访问，避免因文件放置在深层子目录、权限设置为非公开等问题，导致爬虫无法正常读取到屏蔽规则
• 如果你之前已经为Googlebot-Image配置了专门的抓取屏蔽规则，无需调整原有内容，仅需追加上述TinEye相关规则即可，两类爬虫的规则会独立生效、互不冲突

内容的提问来源于stack exchange，提问作者waddleworks