htaccess设置Options -Indexes及索引文件能否阻止爬虫抓取目录内容？

1. Options -Indexes 能否阻止爬虫抓取目录下的文件？ #

答案是不能，准确说它的作用和爬虫抓取没有直接关联。Options -Indexes 只是禁用了Apache的目录索引功能——也就是说，当某个目录里没有默认的index文件（比如index.html、index.php）时，访问这个目录的URL不会列出里面的所有文件。但如果爬虫已经知道了目录下某个具体文件的路径（比如通过其他页面的链接、或者猜测常见文件名），它依然可以直接请求并抓取这些文件。

举个例子：你在/docs/目录加了Options -Indexes，用户访问yourdomain.com/docs/会得到403禁止访问，但如果爬虫知道yourdomain.com/docs/report.pdf这个路径，它还是能正常抓取这个PDF文件。

2. 仅放置index.html/index.php能否阻止目录被爬虫抓取？ #

同样不能。放置默认index文件的作用只是让访问目录URL时显示这个页面，而不是返回目录列表。但爬虫不仅能抓取这个index页面本身，要是这个index页面里有指向目录内其他文件的链接，或者爬虫通过其他途径知道了目录内文件的路径，依然可以抓取这些内容。

甚至，有些爬虫会主动遍历目录下的常见文件名（比如readme.txt、data.csv），就算你有index文件，它还是会尝试请求这些文件。

那该怎么真正阻止爬虫抓取目录内容？ #

如果想让爬虫完全不抓取某个目录的内容，更可靠的方法是：

• 使用robots.txt文件，在里面添加规则：Disallow: /your-directory/，告诉合规的爬虫不要访问这个目录（注意：恶意爬虫可能忽略这个规则）。
• 在目录内的页面中添加meta标签：<meta name="robots" content="noindex, nofollow">，阻止爬虫索引页面和跟随链接。
• 给目录设置HTTP基本认证（通过.htaccess配置），这样不管是普通用户还是爬虫，都需要账号密码才能访问，这是最彻底的方法。

内容的提问来源于stack exchange，提问作者jsherk